Como a Inovação em Ferramentas Simplifica a Visão AI para Sistemas Embarcados

Integrar visão em produtos cotidianos oferece benefícios transformadores em diversas indústrias, ainda que extrair dados de câmera, incorporar modelos de machine learning e entregar insights acionáveis permaneçam desafios complexos.

A chave está em selecionar o software, ferramentas, bibliotecas e compiladores apropriados. Esses recursos são tipicamente inacessíveis a não engenheiros, e até muitos desenvolvedores embarcados carecem da expertise especializada requerida para design de sistemas de visão.

Um dos maiores obstáculos é a falta de conscientização sobre o software e ferramentas que facilitam o desenvolvimento de visão embarcada, como Jeff Bier, fundador da Edge AI and Vision Alliance, explicou em um briefing com a EE Times antes do Embedded Vision Summit 2021. Embora investimento significativo e pesquisa tenham ido para algoritmos e silício, as ferramentas de software que medeiam entre eles — compiladores, bibliotecas de funções otimizadas e mais — foram algo negligenciadas, observou Bier.

Usar as ferramentas de software, compiladores e bibliotecas certas pode gerar uma implementação muito eficiente de um algoritmo para um microcontrolador ou processador específico. Mas "nos últimos 30 anos, empresas de semicondutores tipicamente subinvestiram em ferramentas de software," disse Bier, veterano da indústria de sistemas embarcados e processamento de sinal em particular. "[Software] é frequentemente visto como um mal necessário — é um centro de custo em um negócio muito sensível a custos — e isso aparece. Como desenvolvedor de software embarcado, você pode olhar para as ferramentas disponíveis em comparação com o que desenvolvedores de PC ou nuvem têm e se sentir como o enteado não amado."

Levando este argumento ao próximo nível, ele adicionou: "Você pode ter expertise em sistemas embarcados, mas há uma chance de que esses desenvolvedores nunca tenham trabalhado com dados de imagem ou redes neurais profundas."

Habilidades são um grande desafio, disse Bier. "Podemos ter feito alguns cálculos em planilha e dito: 'Sim, é possível rodar este tipo de rede neural profunda com desempenho suficiente em nossa aplicação.' Mas sabemos como fazer isso? Temos as habilidades? Para a maioria das organizações a resposta é não, porque não tiveram a oportunidade de usar essa tecnologia no passado. Como é uma tecnologia relativamente nova no mundo comercial, eles não têm a expertise. Não têm um departamento de machine learning ou visão computacional em sua empresa."

Nos últimos dois anos, isso se transformou em um gargalo realmente grande com relação à aplicação comercial de visão computacional e redes neurais profundas — apenas o know-how.

A tecnologia está se tornando mais acessível, no entanto, à medida que empresas buscaram resolver a lacuna de habilidades nos últimos dois anos. "A lacuna de conhecimento e habilidades tem sido bastante grande mas está diminuindo," disse Bier, adicionando que "algumas empresas," uma grande e uma pequena, "lideraram a carga nisso." A grande empresa é a Intel; a pequena é a Edge Impulse.

"A Intel frequentemente me impressionou por ir contra a tendência e disposta a fazer grandes investimentos em ferramentas de software de várias maneiras," disse Bier. "Eles têm, por exemplo, a cadeia de ferramentas OpenVINO para visão computacional e inferência na borda, e DevCloud for the Edge. A Edge Impulse também é um ambiente baseado na nuvem. Para um desenvolvedor embarcado, isso [o ambiente na nuvem] parece estranho. Tudo para eles é frequentemente em sua mesa — a dev board, a workstation, as ferramentas — e eles nem precisam de conexão com internet. Tudo é muito local. Então, parece muito estranho dizer: 'Coloque seu código na nuvem' e execute as ferramentas na nuvem."

A tendência aborda o tempo de implantação assim como a lacuna de habilidades. Uma frustração frequente para desenvolvedores embarcados é obter acesso a boards e ferramentas e instalá-las corretamente, disse Bier. A linha do tempo é "geralmente medida em semanas, às vezes em meses, e isso é doloroso, especialmente se no final você percebe que não era o que precisava e precisa repetir o processo com outras boards." Por exemplo, você pode descobrir no final do processo que "precisa da próxima, com desempenho mais alto ou um conjunto diferente de interfaces I/O."

Mas se o fornecedor "tem todas as dev boards na nuvem conectadas às suas máquinas e [pode] acessá-las à vontade, isso oferece tremenda conveniência. Da mesma forma, eles têm as versões mais recentes das ferramentas de software, e resolveram todas as dependências entre elas."

Acelerando a Implantação de Visão AI

Então, como acelerar a implantação de visão embarcada para habilitar recursos como detecção e análise de objetos, seja para cidades inteligentes, fábricas, varejo ou qualquer outra aplicação?

Tendo percebido os pontos de dor descritos por Bier, empresas estão abordando-os. Algumas agora oferecem ferramentas como sistemas de desenvolvimento baseados na nuvem que permitem alimentar seu código ou dados e obter avaliações quase instantaneamente. Outras fornecem designs de referência que permitem simplesmente conectar a saída da sua câmera e escolher de bibliotecas ou apps que fornecem algoritmos de inferência para aplicações comuns.

No primeiro grupo, Intel DevCloud for the Edge e Edge Impulse oferecem plataformas baseadas na nuvem que eliminam a maioria dos pontos de dor com fácil acesso às ferramentas e software mais recentes. No segundo, Xilinx e outros começaram a oferecer sistemas completos em módulo com aplicações prontas para produção que podem ser implantadas com ferramentas em um nível mais alto de abstração, removendo a necessidade de algumas das habilidades mais especializadas.

Prototipe, faça benchmark e teste inferência AI na nuvem

O Intel DevCloud for the Edge permite que usuários desenvolvam, prototipem, façam benchmark e testem aplicações de inferência AI em uma gama de hardware Intel, incluindo CPUs, GPUs integradas, FPGAs e unidades de processamento de visão (VPUs). Com sua interface Jupyter Notebook, a plataforma contém tutoriais e exemplos pré-carregados com tudo necessário para começar rapidamente. Isso inclui modelos pré-treinados, dados de amostra e código executável da versão mais recente do Intel Distribution of OpenVINO toolkit, bem como outras ferramentas para deep learning. Todos os dispositivos de suporte são configurados para desempenho ótimo e prontos para execução de inferência.

O benefício mais significativo para o desenvolvedor é que a plataforma não requer nenhuma configuração de hardware no lado do usuário. O ambiente de desenvolvimento baseado em navegador do Jupyter Notebook permite que desenvolvedores executem código de dentro do navegador e visualizem resultados instantaneamente. Isso permite que eles prototipem soluções de visão computacional no ambiente de nuvem da Intel e vejam seu código rodar em qualquer combinação de seus recursos de hardware disponíveis.

Existem três benefícios principais para esta oferta baseada na nuvem. Primeiro, aborda o problema da paralisia na escolha de hardware. Desenvolvedores podem rodar aplicações AI remotamente em uma ampla gama de hardware para determinar qual é melhor para sua solução baseada em fatores como tempo de execução de inferência, consumo de energia e custo.

Segundo, oferece acesso remoto imediato ao hardware de borda mais recente da Intel. No lado do software, aborda o problema de ter que lidar com software desatualizado, pois fornece acesso instantâneo à versão mais recente do Intel Distribution of OpenVINO toolkit e hardware de borda compatível.

E terceiro, oferece acesso a benchmarks de desempenho específicos de aplicação em um formato fácil de comparar, lado a lado.

(Um tutorial sobre execução de modelos de detecção de objetos usando Intel DevCloud for the Edge está disponível aqui.)

Construa um modelo na nuvem, veja o que acontece ao vivo

Outra abordagem é alimentar dados em uma plataforma na nuvem para visualizar e criar modelos de treinamento e implantá-los em dispositivos embarcados. A Edge Impulse faz exatamente isso, oferecendo um ambiente de desenvolvimento baseado na nuvem que visa tornar simples adicionar machine learning em dispositivos de borda sem exigir um Ph.D. em machine learning, segundo a empresa.

Sua plataforma permite que usuários importem dados de imagem coletados do campo, construam rapidamente classificadores para interpretar esses dados e implantem modelos de volta em dispositivos de produção de baixo consumo. Uma chave para a plataforma web da Edge Impulse é a capacidade de visualizar e rotular todos os dados adquiridos, criar blocos de pré-processamento para aumentar e transformar dados, visualizar o conjunto de dados de imagem, e classificar e validar modelos em dados de treinamento diretamente da interface do usuário.

Como pode ser bastante difícil construir um modelo de visão computacional do zero, a Edge Impulse usa um processo de transfer learning para torná-lo mais fácil e rápido treinar modelos. Isso envolve aproveitar um modelo bem treinado e retreinar apenas as camadas superiores de uma rede neural, levando a modelos muito mais confiáveis que treinam em uma fração do tempo e funcionam com conjuntos de dados substancialmente menores. Com o modelo projetado, treinado e verificado, é então possível implantar este modelo de volta no dispositivo. O modelo pode então rodar no dispositivo sem conexão com internet, com todos seus benefícios inerentes, como minimizar latência, e roda com consumo mínimo de energia. O modelo completo é empacotado com passos de pré-processamento, pesos da rede neural e código de classificação em uma única biblioteca C++ que pode ser incluída no software embarcado.

Indo para um Nível Mais Alto de Abstração

Outra abordagem oferecida por fornecedores é reduzir o tempo de desenvolvimento oferecendo sistemas baseados em módulo e permitindo design em um nível mais alto de abstração. A Xilinx disse que sua nova abordagem de sistemas em módulo (SOMs) pode reduzir até nove meses do tempo de desenvolvimento para sistemas de visão, abordando a complexidade crescente em visão AI assim como desafios para implementar AI na borda.

A Xilinx anunciou recentemente o primeiro produto em seu novo portfólio de SOMs: o Kria K26 SOM, visando especificamente aplicações de visão AI em cidades inteligentes e fábricas inteligentes, junto com um kit de desenvolvimento de baixo custo pronto para uso, o Kria KV260 AI vision starter kit.

Chetan Khona, diretor de industrial, visão e saúde na Xilinx, disse no briefing de imprensa para lançar a nova família de módulos: "Sistemas prontos para produção são importantes para implantação rápida [de visão AI embarcada]. Clientes são capazes de economizar até nove meses em tempo de desenvolvimento usando um design baseado em módulo em vez de um design baseado em dispositivo." Ele adicionou que com o starter kit, usuários podem começar dentro de uma hora, "sem experiência em FPGA necessária." Usuários conectam a câmera, cabos e monitor, inserem o cartão microSD programado e ligam a board, e então podem selecionar e rodar uma aplicação acelerada de sua escolha.

O portfólio Kria SOM acopla a plataforma de hardware e software com aplicações de visão aceleradas prontas para produção. Essas aplicações turnkey eliminam todo o trabalho de design de hardware FPGA; desenvolvedores de software precisam apenas integrar seus modelos AI personalizados e código de aplicação, e opcionalmente modificar o pipeline de visão — usando ambientes de design familiares, como frameworks TensorFlow, Pytorch ou Café, bem como linguagens de programação C, C++, OpenCL e Python.

Os Kria SOMs também permitem personalização e otimização para desenvolvedores embarcados com suporte para PetaLinux baseado em Yocto padrão. A Xilinx disse que uma colaboração com a Canonical também está em andamento para fornecer suporte ao Ubuntu Linux, a popular distribuição Linux usada por desenvolvedores de AI. Isso oferece ampla familiaridade com desenvolvedores de AI e interoperabilidade com aplicações existentes. Clientes podem desenvolver em qualquer ambiente e levar qualquer abordagem para produção. Ambos os ambientes virão pré-construídos com uma infraestrutura de software e utilitários úteis.

Destacamos três das abordagens que fornecedores estão tomando para abordar a lacuna de habilidades e conhecimento, bem como o tempo de implantação, para desenvolvimento de sistemas de visão embarcada. As abordagens baseadas na nuvem oferecem ferramentas que "democratizam" a capacidade de criar e treinar modelos e avaliar hardware para implantação extremamente rápida em dispositivos embarcados. E a abordagem que oferece um módulo, ou design de referência, com uma biblioteca de apps permite que desenvolvedores de AI usem ferramentas existentes para criar sistemas de visão embarcada rapidamente. Todos estes estão nos movendo para uma forma diferente de olhar para dev boards e ferramentas. Eles tiram o mistério da visão embarcada movendo-se para cima na cadeia de valor, deixando o trabalho de nível fundamental para as ferramentas e módulos dos fornecedores.

---

Conteúdos Relacionados:

• Visão Embarcada no Ponto de Virada
• Cinco Tendências para Observar em Visão Embarcada e Edge AI
• Máquinas Compreenderão Totalmente o que Estão Vendo?
• Xilinx SOM visa adoção mais ampla de edge AI e visão embarcada
• Embedded Vision Summit: Percepção ML em FPGAs minúsculos
• GWM adota SoC de visão AI Ambarella para novo SUV
• AImotive mostra 98% de eficiência de visão de borda no Nextchip Apache5
• Placa de visão AI de baixo consumo dura 'anos' com uma única bateria
• OmniVision encolhe sensor de imagem médica para endoscopia mais profunda