Arm Apresenta Cortex-M55 e Ethos-U55: Novos Núcleos IP para TinyML em Endpoints de Baixo Consumo

A Arm lançou hoje dois núcleos IP de ponta que trazem capacidade avançada de machine learning para endpoints com recursos restritos, incluindo IoT e dispositivos de baixo consumo. O microcontrolador Cortex-M55 é o primeiro a integrar o motor de processamento vetorial Helium da Arm, enquanto o Ethos-U55 é uma versão compacta dos NPUs Ethos principais da Arm. Embora projetados para implantação conjunta, cada núcleo pode operar independentemente.

Implantar AI em microcontroladores — comumente referido como TinyML — tornou-se cada vez mais crítico conforme redes 5G impulsionam inteligência na edge. Especialistas preveem que o mercado TinyML se expandirá para abranger bilhões de sistemas consumidor e industriais, entregando insights em tempo real sem dependência da nuvem.

"Quando olharmos para trás daqui a cinco anos, talvez todos concordemos que este momento marcou uma verdadeira mudança de paradigma na computação", disse Thomas Ensergueix, diretor sênior para IoT e Embedded na Arm. "Vimos em poucos anos como a IA revolucionou como a análise de dados roda na nuvem, a maioria de nós tem um smartphone com IA no bolso, e agora aqui está o próximo passo, preparando para IA em todo lugar."

Dispositivos de casa inteligente como smart speakers poderão cada vez mais realizar inferência de machine learning por conta própria (Imagem: Sebastian Scholz/Unsplash)

Reconhecimento de voz, visão computacional e outras cargas de trabalho de ML estão migrando da nuvem para o próprio microcontrolador. Os novos núcleos da Arm visam um ecossistema crescente de soluções de microcontrolador que priorizam inferência no dispositivo.

"Sabemos que todos estes dados no nível do endpoint não podem voltar para a nuvem", disse Ensergueix. "Câmeras de vídeo em casa ou cidade inteligente criam literalmente gigabytes por dia de dados e a infraestrutura não é construída para este fluxo upstream. Estamos convencidos de que, para escalar para bilhões ou trilhões de endpoints IoT, precisaremos de capacidade de inferência de IA diretamente no endpoint IoT. E precisa ser seguro."

Cortex-M55

O Cortex-M55 baseia-se na confiável família Cortex-M, oferecendo o maior desempenho de IA até hoje. Aproveitando a arquitetura Armv8.1-M, suporta instruções customizadas que permitem aos desenvolvedores adaptar o núcleo para cargas de trabalho específicas, espremendo eficiência máxima.

A tecnologia de processamento vetorial Helium entrega 5× mais rápido DSP e 15× mais rápido desempenho ML sobre gerações anteriores de Cortex-M.

Instruções customizadas para operações INT8, incluindo produto escalar, aceleram inferência de redes neurais.

"Uma aplicação AIoT bem-sucedida depende não apenas de bom desempenho de computação, mas também de conseguir obter os dados certos, os coeficientes certos e os pesos de machine learning certos no momento certo, então a interface de memória do processador foi otimizada para lidar com todos os dados de entrada e saída. É muito mais capaz que qualquer outro núcleo Cortex-M neste aspecto", disse Ensergueix.

A combinação de Cortex-M55 e Ethos-U55 tem poder de processamento suficiente para aplicações como reconhecimento de gestos, biometria e reconhecimento de fala (Imagem: Arm)

Ethos-U55

O Ethos-U55 é o primeiro 'micro-NPU' da Arm, entregando até 0,5 TOPS de aceleração a 1 GHz. Configurável de 32 a 256 MACs, possui decodificador de pesos on-chip e DMA para descompressão de pesos em tempo real, reduzindo pegada de memória.

Comparado aos seus irmãos maiores — Ethos-N77 (4 TOPS), N57 (2 TOPS) e N37 (1 TOPS) — o U55 oferece solução densa e de baixo consumo que pode ser escalada empilhando múltiplos núcleos.

O Cortex-M55 e Ethos-U55 são projetados para serem usados juntos, mas podem ser usados separadamente também (Imagem: Arm)

Os dois novos núcleos, M55 e U55, são projetados para trabalhar em tandem, entregando aceleração de até 480× sobre qualquer dispositivo Cortex-M anterior sozinho. Para cargas de trabalho típicas de assistente de voz, a Arm reporta aceleração de 50× e melhoria de 25× em eficiência energética comparado a um Cortex-M7.

"O Cortex-M roda o código do sistema de aplicação e então, quando uma carga de trabalho de rede neural é requerida, o command stream é colocado em SRAM, uma interrupção é emitida para o U55, e ele assume. O U55 roda até completar, retorna resultados para SRAM, e então o Cortex-M retoma controle. Em cenários de streaming, o U55 pode processar dados contínuos de áudio ou vídeo", explicou Steve Roddy, vice-presidente do grupo de machine learning na Arm.

Silício baseado nestes novos núcleos deve chegar ao mercado no início de 2021.