Arquiteturas de microcontroladores evoluem para IA

O que você ganha se cruzar AI com a IoT? A AIoT é a resposta simples, mas você também obtém uma enorme nova área de aplicação para microcontroladores, possibilitada por avanços nas técnicas de rede neural que significam que o aprendizado de máquina não está mais limitado ao mundo dos supercomputadores. Hoje em dia, os processadores de aplicativos de smartphone podem (e fazem) realizar inferência de IA para processamento de imagens, mecanismos de recomendação e outros recursos complexos.

Um ecossistema de bilhões de dispositivos IoT obterá recursos de aprendizado de máquina nos próximos dois anos (Imagem:NXP)

Trazer esse tipo de capacidade para o humilde microcontrolador representa uma grande oportunidade. Imagine um aparelho auditivo que pode usar IA para filtrar o ruído de fundo de conversas, eletrodomésticos inteligentes que podem reconhecer o rosto do usuário e mudar para suas configurações personalizadas e nós de sensores habilitados para IA que podem funcionar por anos com a menor das baterias. O processamento de dados no terminal oferece vantagens de latência, segurança e privacidade que não podem ser ignoradas.

No entanto, alcançar um aprendizado de máquina significativo com dispositivos em nível de microcontrolador não é uma tarefa fácil. A memória, um critério chave para cálculos de IA, costuma ser severamente limitada, por exemplo. Mas a ciência de dados está avançando rapidamente para reduzir o tamanho do modelo, e os fornecedores de dispositivos e IP estão respondendo desenvolvendo ferramentas e incorporando recursos personalizados para as demandas do aprendizado de máquina moderno.

TinyML decola

Como um sinal do rápido crescimento deste setor, o TinyML Summit (um novo evento do setor realizado no início deste mês no Vale do Silício) está crescendo cada vez mais. A primeira cúpula, realizada no ano passado, teve 11 empresas patrocinadoras, enquanto o evento deste ano teve 27, com as vagas esgotadas muito antes, de acordo com os organizadores, que também disseram que o número de membros para seus encontros globais mensais para designers cresceu dramaticamente.

“Vemos um novo mundo com trilhões de dispositivos inteligentes habilitados por tecnologias TinyML que detectam, analisam e agem autonomamente em conjunto para criar um ambiente mais saudável e sustentável para todos”, disse o co-presidente do comitê do TinyML, Evgeni Gousev da Qualcomm, em seu comentários de abertura no show.

Gousev atribuiu esse crescimento ao desenvolvimento de hardware e algoritmos mais eficientes em termos de energia, combinados com ferramentas de software mais maduras. Os investimentos corporativos e de capital de risco estão aumentando, assim como as atividades de inicialização e fusões e aquisições, observou ele.

Hoje, o Comitê TinyML acredita que a tecnologia foi validada e que os produtos iniciais que usam aprendizado de máquina em microcontroladores devem chegar ao mercado em 2 a 3 anos. Acredita-se que os ‘aplicativos assassinos’ estejam de 3 a 5 anos de distância.

Grande parte da validação da tecnologia ocorreu na primavera passada, quando o Google demonstrou pela primeira vez uma versão de sua estrutura TensorFlow para microcontroladores. O TensorFlow Lite para Microcontroladores foi projetado para ser executado em dispositivos com apenas kilobytes de memória (o tempo de execução do núcleo cabe em 16 KB em um Arm Cortex M3 e com operadores suficientes para executar um modelo de detecção de palavra-chave de fala, ocupa um total de 22 KB). Ele suporta apenas inferência (não treinamento).

Grandes Jogadores

Os grandes fabricantes de microcontroladores estão, é claro, observando com interesse os desenvolvimentos na comunidade TinyML. À medida que a pesquisa permite que os modelos de rede neural diminuam, o tamanho de sua oportunidade aumenta.

A maioria tem algum tipo de suporte para aplicativos de aprendizado de máquina. Por exemplo, STMicroelectronics tem um pacote de extensão, STM32Cube.AI, que permite mapear e executar redes neurais em sua família STM32 de microcontroladores baseados em Arm Cortex-M.

A Renesas tem seu ambiente de desenvolvimento de e-AI que permite que a inferência de AI seja implementada em microcontroladores. Ele efetivamente traduz o modelo em um formato que pode ser usado em seu e ² studio, compatível com projetos C / C ++.

A NXP disse que tem clientes que usam seus MCUs Kinetis e LPC para aplicativos de aprendizado de máquina. A empresa está adotando a IA com soluções de hardware e software, embora principalmente orientada em torno de seus maiores processadores de aplicativos e processadores crossover (entre processadores de aplicativos e microcontroladores).

Braço forte

A maioria das empresas estabelecidas no espaço dos microcontroladores têm uma coisa em comum:Arm. A gigante do núcleo do processador embarcado domina o mercado de microcontroladores com sua série Cortex-M. A empresa anunciou recentemente o novo núcleo Cortex-M55, projetado especificamente para aplicativos de aprendizado de máquina, especialmente quando usado em combinação com o acelerador Ethos-U55 AI. Ambos são projetados para ambientes com restrição de recursos.

Usado em conjunto, o Cortex-M55 e o Ethos-U55 da Arm têm poder de processamento suficiente para aplicativos como reconhecimento de gestos, biometria e reconhecimento de fala (Imagem:Arm)

Mas como as startups e empresas menores podem buscar competir com os grandes players desse mercado?

“Não construindo SoCs baseados em Arm! Porque eles fazem isso muito bem ”, riu o CEO da XMOS, Mark Lippett. “A única maneira de competir contra esses caras é tendo uma vantagem arquitetônica ... [isso significa] as capacidades intrínsecas do Xcore em termos de desempenho, mas também a flexibilidade.”

Embora o Xcore.ai da XMOS, seu processador cruzado recém-lançado para interfaces de voz, não vá competir diretamente com os microcontroladores, o sentimento ainda é verdadeiro. Qualquer empresa que esteja fazendo um SoC baseado em ARM para competir com os grandes é melhor ter algo muito especial em seu molho secreto.

Escalonando tensão e frequência

Startup Eta Compute lançou seu dispositivo de ultra-baixa energia muito aguardado durante o show TinyML. Ele pode ser usado para aprendizado de máquina em aplicações de processamento de imagens sempre ativas e fusão de sensores com um orçamento de energia de 100 µW. O chip usa um núcleo Arm Cortex-M3 mais um núcleo NXP DSP - um ou ambos os núcleos podem ser usados ​​para carga de trabalho de ML. O molho secreto da empresa tem vários ingredientes, mas a chave é a maneira como ele dimensiona a frequência do clock e a voltagem de forma contínua, para ambos os núcleos. Isso economiza muita energia, especialmente porque é obtido sem um PLL (loop de bloqueio de fase).

O ECM3532 da Eta Compute usa um núcleo Arm Cortex-M3 mais um núcleo NXP CoolFlux DSP. A carga de trabalho do aprendizado de máquina pode ser tratada por um ou ambos (Imagem:Eta Compute)

Com concorrentes viáveis ​​para Arm agora lá fora, incluindo a arquitetura de conjunto de instruções emergente oferecida pela fundação RISC-V, por que a Eta Compute escolheu usar um núcleo Arm para aceleração de aprendizado de máquina de potência ultrabaixa?

“A resposta simples é que o ecossistema da Arm é muito bem desenvolvido”, disse Tewksbury ao EETimes . “É muito mais fácil ir para a produção [com Arm] do que com RISC-V agora. Essa situação pode mudar no futuro ... RISC-V tem seu próprio conjunto de vantagens; certamente é bom para o mercado chinês, mas estamos olhando principalmente para os mercados doméstico e europeu agora com o ecossistema para [nosso dispositivo]. ”

Tewksbury observou que o maior desafio enfrentado pela AIoT é a amplitude e a diversidade das aplicações. O mercado é bastante fragmentado, com muitos aplicativos de nicho relativamente comandando apenas volumes baixos. Ao todo, entretanto, esse setor potencialmente se estende a bilhões de dispositivos.

“O desafio para os desenvolvedores é que eles não podem investir tempo e dinheiro no desenvolvimento de soluções personalizadas para cada um desses casos de uso”, disse Tewksbury. “É aí que a flexibilidade e a facilidade de uso se tornam absolutamente essenciais. E esse é outro motivo pelo qual escolhemos o Arm - porque o ecossistema está lá, as ferramentas estão lá e é fácil para os clientes desenvolverem produtos rapidamente e colocá-los no mercado rapidamente, sem muita personalização ”.

Depois de manter seu ISA trancado por décadas, finalmente, em outubro passado, a Arm anunciou que permitiria aos clientes criar suas próprias instruções personalizadas para lidar com cargas de trabalho especializadas, como aprendizado de máquina. Esse recurso, nas mãos certas, também pode oferecer a oportunidade de reduzir ainda mais o consumo de energia.

O Eta Compute ainda não pode tirar proveito disso, uma vez que não se aplica retrospectivamente aos núcleos Arm existentes, portanto, não é aplicável ao núcleo M3 que o Eta está usando. Mas poderia Tewksbury ver Eta Compute usando instruções personalizadas Arm em futuras gerações de produtos para reduzir ainda mais o consumo de energia?

"Absolutamente, sim", disse ele.

ISAs alternativos

O RISC-V tem recebido muita atenção este ano. O ISA de código aberto permite o projeto de processadores sem taxa de licença, enquanto os projetos baseados no ISA RISC-V podem ser protegidos como qualquer outro tipo de IP. Os designers podem escolher quais extensões adicionar e podem adicionar suas próprias extensões personalizadas.

A startup francesa GreenWaves é uma das várias empresas que usam núcleos RISC-V para atingir o espaço de aprendizado de máquina de ultra-baixo consumo de energia. Seus dispositivos, GAP8 e GAP9, usam clusters de computação de 8 e 9 núcleos, respectivamente.

A arquitetura do chip AI de ultra-baixa potência GAP9 da GreenWaves agora usa 10 núcleos RISC-V (Imagem:GreenWaves)

Martin Croome, vice-presidente de desenvolvimento de negócios da GreenWaves, explicou ao EETimes porque a empresa usa núcleos RISC-V.

“O primeiro motivo é que o RISC-V nos dá a capacidade de personalizar os núcleos no nível do conjunto de instruções, que usamos intensamente”, disse Croome, explicando que as extensões personalizadas são usadas para reduzir o poder do aprendizado de máquina e das cargas de trabalho de processamento de sinal . “Quando a empresa foi formada, se você quisesse fazer isso com qualquer outra arquitetura de processador, seria impossível ou custaria uma fortuna. E a fortuna que isso custaria a você era essencialmente o dinheiro do seu investidor indo para uma empresa diferente, e isso é muito difícil de justificar. ”

As extensões personalizadas do GreenWaves por si só proporcionam aos seus núcleos uma melhoria de 3,6x no consumo de energia em comparação com os núcleos RISC-V não modificados. Mas Croome também disse que o RISC-V tem benefícios técnicos fundamentais simplesmente por ser novo.

“É um conjunto de instruções muito simples e moderno. Não tem bagagem. Portanto, de uma perspectiva de implementação, o núcleo RISC-V é na verdade uma estrutura mais simples e simples significa menos energia ”, disse ele.

Croome também citou o controle como um fator importante. O dispositivo GAP8 tem 8 núcleos em seu cluster de computação e o GreenWaves precisa de um controle muito preciso e detalhado sobre a execução do núcleo para permitir a eficiência máxima de energia. RISC-V permite isso, disse ele.

“No final das contas, se pudéssemos ter feito tudo isso com a Arm, teríamos feito tudo isso com a Arm, teria sido uma escolha muito mais lógica ... Porque ninguém nunca foi demitido por comprar a Arm”, brincou . “As ferramentas de software estão lá em um nível de maturidade muito superior ao RISC-V ... mas, dito isso, agora há tanto foco no RISC-V que essas ferramentas estão crescendo em maturidade muito rápido.”

Em resumo, enquanto alguns vêem o controle da Arm no mercado de microprocessadores como enfraquecido, em parte devido ao aumento da concorrência do RISC-V, a empresa está respondendo permitindo algumas extensões personalizadas e desenvolvendo novos núcleos projetados para aprendizado de máquina desde o início.

Na verdade, existem dispositivos Arm e outros que estão chegando ao mercado para aplicativos de aprendizado de máquina de potência ultrabaixa. À medida que a comunidade TinyML continua a trabalhar na redução do tamanho do modelo de rede neural e no desenvolvimento de estruturas e ferramentas dedicadas, esse setor florescerá em uma área de aplicação saudável que oferecerá suporte a uma variedade de tipos de dispositivos diferentes.