Grupo de engenharia busca empurrar IA de 1mW para a borda

Quando o grupo TinyML recentemente convocou sua reunião inaugural, os membros tiveram que lidar com uma série de questões fundamentais, começando com:O que é TinyML?

TinyML é uma comunidade de engenheiros focada em como melhor implementar o aprendizado de máquina (ML) em sistemas de consumo ultrabaixo. A primeira de suas reuniões mensais foi dedicada a definir o assunto. O aprendizado de máquina pode ser obtido para dispositivos de baixo consumo de energia, como microcontroladores? E são necessários processadores especializados de aprendizado de máquina de ultra-baixo consumo de energia?

Evgeni Gousev, da Qualcomm AI Research, definiu TinyML como abordagens de aprendizado de máquina (ML) que consomem 1mW ou menos. Gousev disse que 1mW é o “número mágico” para aplicativos sempre ligados em smartphones.

“Fala-se muito sobre o ML na nuvem, enquanto o ML no nível do smartphone se torna cada vez mais sofisticado”, disse ele. “Mas se você olhar para os dados, 90 por cento dos dados estão no mundo real. Como você conecta todas essas câmeras, IMUs e outros sensores e faz ML nesse nível? ”

“O Tiny ML será grande e há uma necessidade real e urgente de conduzir todo o ecossistema do pequeno ML, incluindo aplicativos, software, ferramentas, algoritmos, hardware, ASICs, dispositivos, fabs e tudo mais”, disse Gousev .

O engenheiro do Google Nat Jefferies apresenta no primeiro encontro TinyML (Imagem:TinyML)

TensorFlow Lite

O engenheiro do Google, Daniel Situnayake, apresentou uma visão geral do TensorFlow Lite, uma versão da estrutura TensorFlow do Google projetada para dispositivos de ponta, incluindo microcontroladores.

“O TensorFlow Lite tem como alvo os telefones celulares, mas estamos ansiosos para executá-lo em dispositivos cada vez menores”, disse ele.

Depois de construir um modelo no TensorFlow, os engenheiros podem executá-lo por meio do conversor Tensor Flow Lite, que “o torna menor e faz coisas como a quantização, o que permite reduzir o tamanho e a precisão do modelo a uma escala em que ele se encaixe confortavelmente no dispositivo que você está almejando ”, disse ele.

Situnayake descreveu uma técnica que poderia ser usada para aumentar a eficiência energética, que envolve o encadeamento de modelos.

“Imagine um modelo em cascata de classificadores onde você tem um modelo de realmente baixo consumo de energia usando quase nenhuma potência para detectar se há um som acontecendo, então outro modelo que consome mais energia para funcionar, que descobre se é fala humana ou não,” ele explicou. “Então uma rede mais profunda que só acorda quando essas condições são satisfeitas, que usa mais energia e recursos. Encadeando-os, você só ativa aquele [que consome muita energia] quando precisa, para que possa fazer grandes economias na eficiência de energia. ”

Modelos de aprendizado de máquina em cascata podem ajudar a economizar energia (Imagem:Google)

Nat Jefferies, um engenheiro da equipe "TensorFlow Lite para microcontroladores" do Google, descreveu a tendência de requisitos rígidos de consumo de energia em dispositivos de consumo modernos, apesar de recursos sofisticados e sistemas de sensores sofisticados. Esses aparelhos podem funcionar com baterias que precisam durar meses ou anos, ou usam captação de energia.

“Achamos que a melhor solução para isso é o Tiny ML - aprendizado profundo em microcontroladores”, disse ele. “Isso nos permite fazer ciclos de CPU e leituras de sensor, que [não consomem muita energia], em vez de enviar todas as informações fora do chip ... TinyML pode ser usado para condensar os dados do sensor em apenas alguns bytes, que você pode então enviar ... por apenas uma fração da energia ”, disse ele.

Um recente desafio do Google, em que os participantes desenvolveram modelos de 250kbyte para fazer a detecção de pessoas, recebeu muitos envios impressionantes e "valida que o que estamos fazendo é significativo", disse Jefferies.

“Atualmente, somos capazes de reduzir os modelos do TensorFlow ao ponto em que podemos encaixá-los em microcontroladores e é por isso que agora é um excelente momento para estar nesta área”, disse ele. “Estamos entusiasmados para iniciar este processo.”

O roteiro do Google para o TensorFlow Lite em microcontroladores inclui abrir o código-fonte de algumas demos do Google, trabalhar com fornecedores de chips para otimizar kernels, otimizar o uso de memória do TensorFlow Lite para executar modelos mais sofisticados nos mesmos dispositivos e permitir mais plataformas de desenvolvimento (SparkFun Edge é o único placa suportada até agora, mas suporte para placas Arduino e Mbed em breve).

Dispositivos especializados
Apresentando o caso de processadores de aplicações de baixo consumo de energia para ML estava Martin Croome, VP de Desenvolvimento de Negócios, GreenWaves Technologies. Croome concordou que a discussão da indústria sobre como proceder com o aprendizado de máquina de baixo consumo de energia estava atrasada.

“Precisamos desesperadamente de mais foco nesta área, tanto da perspectiva algorítmica quanto de nosso mundo [de hardware]”, disse ele.

A GreenWaves desenvolveu um processador de aplicativos RISC-V, GAP8, que se concentra na inferência em dispositivos de ponta que consome miliWatts de energia e oferece correntes de espera ultrabaixas. A empresa tem como alvo dispositivos operados por bateria, bem como dispositivos que usam coleta de energia (leia mais sobre como o chip GreenWaves funciona em nosso artigo anterior).

O acelerador de aprendizado de máquina de ultra-baixo consumo de energia da GreenWaves tem nove núcleos RISC-V (Imagem:GreenWaves Technologies)

Uma variedade de técnicas é usada para manter baixo o consumo de energia. Isso inclui paralelização, embora não para acelerar as coisas; 8 núcleos são usados ​​para permitir uma velocidade de clock mais lenta, o que permite que a tensão do núcleo caia, o que economiza energia (na prática, a frequência do clock é ajustada dinamicamente, dependendo da carga de trabalho).

O chip é voltado para redes neurais convolucionais (CNNs), com um acelerador de hardware realizando uma convolução 5 × 5 em dados de 16 bits em um único ciclo de clock (sem incluir write-back). O gerenciamento de memória explícita depende da natureza das CNNs, que são amplamente utilizadas para processamento de imagens; os sensores de imagem têm tamanho fixo, a inferência requer o mesmo número de pesos e o resultado é sempre o mesmo tamanho. Uma ferramenta pode, portanto, gerar código para toda a movimentação de dados em tempo de compilação.

Croome reconheceu que especializar-se o suficiente para processar cargas de trabalho de ML com eficácia, ao mesmo tempo em que mantém flexibilidade suficiente para responder aos avanços da tecnologia, é um equilíbrio complicado.

“O escopo da IA ​​está avançando a um ritmo incrivelmente rápido. A grande ideia de hoje sobre como fazer as coisas provavelmente não é o que vai ser a grande ideia de amanhã ”, disse Croome. “Se nos especializarmos demais, seremos excelentes em acelerar o que todos estavam fazendo no ano passado, o que não é bom para a empresa. Portanto, estamos tentando equilibrar a diferença entre flexibilidade, programabilidade e aceleração. ”

O chip da GreenWaves está em amostragem há um ano, a produção começará neste mês e será enviado em volume aos clientes até o final do terceiro trimestre, disse Croome.

Os encontros TinyML são realizados na última quinta-feira de cada mês na Bay Area e estão abertos a participantes da indústria e da academia.