Adicionando um ISP e aceleração de aprendizado de máquina à família i.MX 8M

Saiba como o processador de aplicativos i.MX 8M Plus permite computação de ponta, acelerando o aprendizado de máquina para uma variedade de aplicativos, incluindo tarefas industriais.

A computação em nuvem, a computação de ponta e os sistemas baseados em visão assumiram cada vez mais sistemas industriais e de consumo. Além disso, muitos sistemas modernos empregam aprendizado de máquina e inteligência artificial para aprimorar a experiência do usuário. Essa abordagem geralmente requer que os designers de sistemas embarcados utilizem uma variedade de diferentes SoCs e processadores especializados para realizar todas essas tarefas.

A NXP, no entanto, decidiu adotar uma abordagem diferente e combinou um processador de sinal de imagem (ISP), uma unidade de processamento neural (NPU) para aceleração de aprendizado de máquina e um MPU em um único dispositivo:o avançado i.MX 8M Plus processador de aplicativos.

Figura 1. Processador de aplicativos i.MX 8M Plus.

Cloud Computing vs. Edge Computing

É necessário algum contexto para entender por que o processador de aplicativos i.MX 8M Plus oferece soluções poderosas para computação de ponta.

A computação em nuvem se refere à disponibilidade sob demanda de recursos do sistema de computador fora dos limites da rede do usuário. Esses recursos podem ser de qualquer tipo. No entanto, eles são normalmente usados ​​para executar tarefas exigentes e para armazenamento de dados.

Freqüentemente, os data centers baseados em nuvem não são exclusivos de um único usuário ou organização. Em vez disso, os recursos são compartilhados entre todos os usuários. Normalmente, os serviços de nuvem pública utilizam um modelo pré-pago, o que significa que o custo pode aumentar rapidamente se dados desnecessários ou barulhentos forem carregados para processamento na nuvem.

É aí que a computação de ponta pode ser útil. A computação de borda coloca alguns recursos entre os usuários e a nuvem dentro dos limites de sua rede. No entanto, normalmente, nem todos os cálculos são executados na borda. Em vez disso, os recursos na borda são utilizados para filtrar dados e descartar elementos indesejados antes que sejam carregados para a nuvem e gerem custos desnecessários. Muitas vezes, o aprendizado de máquina e a IA são utilizados para categorizar automaticamente os resultados e apenas enviar informações relevantes para a nuvem.

No entanto, também é possível omitir totalmente a nuvem e executar todas as inferências de aprendizado de máquina localmente em um processador de borda - por exemplo, o processador de aplicativos i.MX 8M Plus, que vem com algumas vantagens.

Benefícios potenciais do uso de Edge Computing em vez de Cloud Computing

A computação de ponta (como a fornecida pelo i.MX 8M Plus) oferece uma série de vantagens possíveis sobre a computação em nuvem que vale a pena considerar mais de perto.

Além do fator de custo, a redução dos dados que são carregados para a nuvem também reduzirá o tráfego geral da rede, o que pode acelerar outros aplicativos que dependem da rede. Isso não apenas aumenta a eficiência com as tarefas às quais o processador é especificamente dedicado, mas também libera recursos críticos para outras atividades e prioridades auxiliares.

Em seguida, executar a inferência localmente significa que o aplicativo pode continuar a funcionar mesmo quando o serviço de nuvem está offline ou quando a conexão de rede é interrompida. Isso pode ser um fator importante, especialmente para casos de uso de segurança crítica, mas também para outros aplicativos conectados, como dispositivos de segurança doméstica.

Além disso, esta solução oferece melhor latência e tempos de resposta mais curtos quando comparada à utilização de um serviço em nuvem. A baixa latência é importante, por exemplo, ao realizar a inspeção visual do chão de fábrica e outros aplicativos de tempo crítico.

Finalmente, a privacidade do usuário é outro fator a ser considerado. Todo serviço externo é um risco potencial de segurança ao lidar com dados confidenciais. Portanto, manter informações importantes dentro dos limites da rede do usuário pode aumentar a segurança de todo o aplicativo. Isso não é importante apenas para usuários industriais, mas também é crítico para usuários particulares e clientes, por exemplo, ao usar um assistente de voz ou ao trabalhar com arquivos pessoais de vídeo e imagem.

Quanto desempenho de aprendizado de máquina é necessário?

Com a computação em nuvem, o desempenho do aprendizado de máquina geralmente não é um problema ou um fator limitante. Ao realizar essas operações na borda, no entanto, a questão é quanta energia é necessária. Uma maneira popular de medir o desempenho do aprendizado de máquina é TOPS, que é um acrônimo para trilhões (tera) de operações por segundo e, como o nome indica, refere-se ao número de operações (geralmente de multiplicação ou acumulação inteira de 8 bits) por segundo . O desempenho geral do sistema, entretanto, dependerá de muitos outros fatores. No entanto, o TOPS ainda é frequentemente usado para comparar rapidamente o desempenho de sistemas de aprendizado de máquina.

O reconhecimento total de voz (não apenas localização de palavras-chave) na borda exige um desempenho do sistema de aproximadamente um a dois TOPS. O requisito real depende muito do algoritmo empregado e se é vital entender o que o usuário diz. A detecção de objetos a 60 quadros por segundo, como outro exemplo, leva cerca de dois a três TOPS ao usar um algoritmo como o Yolov3.

Como o processamento e o aprendizado de máquina na ponta se tornam cada vez mais relevantes, a NXP adicionou um acelerador de aprendizado de máquina com desempenho de cerca de 2,3 TOPS ao processador de aplicativos i.MX 8M Plus, o que o torna bem equipado para várias tarefas industriais e muitos outros aplicativos sem a necessidade de empregar serviços externos baseados em nuvem.

Figura 2. O processador de aplicativos i.MX 8M Plus está bem equipado para várias tarefas industriais que utilizam serviços externos baseados em nuvem.

O i.MX 8M Plus está pronto para sistemas baseados em visão incorporados

Até agora, este artigo mencionou vários exemplos de aplicativos que requerem uma câmera para funcionar. Um deles era um sistema baseado em visão que descarta peças defeituosas no final de uma linha de produção após uma inspeção óptica automatizada. Todos esses sistemas requerem entrada visual, por exemplo, imagens de uma câmera. A funcionalidade ISP existe em todos os sistemas baseados em câmeras. Freqüentemente, o processador do sinal de imagem está presente em um dispositivo externo, como a própria câmera, e escondido do usuário. Esses ISPs geralmente cuidam de algumas tarefas diferentes de otimização e filtragem de imagens.

Em muitos casos, pode-se escapar sem usar um ISP dedicado, por exemplo, ao usar uma simples webcam USB. Então, o ISP geralmente já está embutido na câmera, que fará todas as conversões necessárias sem que o usuário perceba.

Esses ISPs, no entanto, têm suas limitações e normalmente funcionam bem para resoluções de até dois megapixels. Além disso, a falta de controle sobre o ISP, a complexidade adicional e o consumo de energia adicional podem ser problemáticos em alguns casos.

Quando uma resolução de imagem superior a 2MP (1080p) é necessária, o projetista de sistemas embarcados pode utilizar um ISP externo, o que, por sua vez, aumentaria a complexidade geral e o consumo de energia do sistema. Como alternativa, o designer pode usar um processador de aplicativos com um ISP integrado, como o i.MX 8M Plus. Esta abordagem oferece uma solução de imagem otimizada, particularmente em 2 megapixels e resoluções mais altas, sem aumentar a complexidade do sistema.

Resumo

A computação de borda tem alguns benefícios atraentes sobre a computação em nuvem e tem o potencial de mudar a maneira como trabalharemos, viveremos e passaremos o tempo de lazer no futuro. Alguns dos benefícios incluem maior confiabilidade, escalabilidade e segurança e latência reduzida.

Com o processador de aplicativos i.MX 8M Plus, a NXP combinou dois fatores que permitem aplicativos modernos no limite. Este novo MPU incentivará o desenvolvimento de vários dispositivos industriais inovadores e produtos de consumo. Inclui um ISP para construir sistemas modernos baseados em visão que requerem dados de entrada de alta resolução.

As informações de imagem do ISP podem ser alimentadas diretamente no NPU integrado para habilitar aplicativos de alta velocidade que dependem de dados de imagem enquanto mantém a CPU livre para outras tarefas. Além disso, o processador de aplicativos i.MX 8M Plus oferece alguns outros recursos que valem a pena dar uma olhada, por exemplo, um controlador Ethernet com rede sensível ao tempo, um controlador DRAM que suporta ECC e uma variedade de núcleos diferentes para uma variedade de formulários.

Com o processador de aplicativos i.MX 8M Plus, as possibilidades de aplicativos baseados em visão de alta potência no limite são quase infinitas, seja para um hub doméstico inteligente, controles inteligentes de edifícios ou aplicações industriais.

Artigos do setor são uma forma de conteúdo que permite aos parceiros do setor compartilhar notícias, mensagens e tecnologia úteis com os leitores do All About Circuits de uma forma que o conteúdo editorial não é adequado. Todos os artigos da indústria estão sujeitos a diretrizes editoriais rígidas com a intenção de oferecer aos leitores notícias úteis, conhecimentos técnicos ou histórias. Os pontos de vista e opiniões expressos nos Artigos da Indústria são do parceiro e não necessariamente da All About Circuits ou de seus redatores.