Comunidade TinyML Visa IA de 1 mW para Dispositivos de Edge

Quando o grupo TinyML realizou sua reunião inaugural, a primeira ordem do dia foi uma pergunta simples: O que exatamente é TinyML?

TinyML é uma comunidade de engenheiros dedicada a fazer machine learning (ML) rodar em dispositivos de ultra-baixa potência. O encontro inicial focou em se ML pode ser implementado em microcontroladores e se processadores especializados de ML de baixa potência são necessários.

Evgeni Gousev da Qualcomm AI Research definiu TinyML como técnicas de ML que consomem 1 mW ou menos. Ele chamou 1 mW de "número mágico" para aplicações always-on em smartphones.

"Enquanto ML na nuvem domina a conversa, ML no dispositivo está se tornando cada vez mais sofisticado", notou Gousev. "Mas 90% dos dados originam no mundo real. Como fundimos todas as câmeras, IMUs e outros sensores e rodamos ML localmente?"

"TinyML vai ser grande, e há uma necessidade urgente de construir todo o ecossistema — aplicações, software, ferramentas, algoritmos, hardware, ASICs, dispositivos, fabs e mais", adicionou Gousev.

Engenheiro do Google Nat Jefferies apresenta no primeiro meetup TinyML (Imagem: TinyML)

TensorFlow Lite

O engenheiro do Google Daniel Situnayake apresentou o TensorFlow Lite, uma versão leve do TensorFlow adaptada para dispositivos de edge, incluindo microcontroladores.

"TensorFlow Lite serviu telefones móveis por anos, e agora estamos empolgados em trazê-lo para dispositivos ainda menores", disse ele.

Após treinar um modelo no TensorFlow, engenheiros o convertem para TensorFlow Lite, que encolhe o modelo, aplica quantização e o otimiza para caber confortavelmente no hardware alvo.

Uma estratégia de economia de energia que ele descreveu é encadear modelos juntos.

"Imagine uma cascata de classificadores: um modelo minúsculo de baixa potência primeiro detecta se som está presente, então um modelo ligeiramente maior determina se é fala humana, e finalmente uma rede mais profunda ativa apenas quando essas condições são atendidas", explicou Situnayake. "Acordando o modelo intensivo em energia apenas quando necessário, alcançamos economias substanciais de energia."

Cascata de modelos de machine learning pode ajudar a economizar energia (Imagem: Google)

Nat Jefferies, membro da equipe "TensorFlow Lite for microcontrollers" do Google, destacou a demanda crescente por orçamentos de energia estritos em dispositivos de consumo que apresentam sensores sofisticados mas ainda dependem de baterias duradouras ou energy harvesting.

"TinyML — deep learning em microcontroladores — é a chave", disse ele. "Nos permite processar dados de sensores localmente com ciclos mínimos de CPU e leituras de sensores, evitando o custo energético de transmissão off-chip. TinyML pode destilar dados brutos de sensores em poucos bytes, então transmitir apenas essa payload comprimida."

Ele citou um desafio recente do Google que atraiu submissões impressionantes para modelos de 250 kB capazes de detecção de pessoa, confirmando a viabilidade desta abordagem.

"Agora podemos encolher modelos TensorFlow ao ponto onde cabem em microcontroladores, tornando este um momento oportuno para entrar no espaço", concluiu Jefferies.

O roadmap do Google para TensorFlow Lite em microcontroladores inclui open-source de projetos demo, colaboração com fornecedores de chips para otimizar kernels, reduzir uso de memória para rodar modelos mais complexos e expandir suporte de plataforma — SparkFun Edge é a primeira placa, com suporte Arduino e Mbed no horizonte.

Dispositivos Especialistas

Martin Croome, VP de Desenvolvimento de Negócios na GreenWaves Technologies, fez o caso para processadores especializados de ML de baixa potência.

"Precisamos de um foco mais claro em ML de ultra-baixa potência de ambas as perspectivas algorítmica e de hardware", disse Croome.

O processador de aplicação RISC-V da GreenWaves, o GAP8, visa inferência em dispositivos de edge com consumo de potência em miliwatts e correntes de standby ultra-baixas. O chip é projetado para dispositivos operados por bateria e aqueles que colhem energia.

Acelerador de machine learning de ultra-baixa potência da GreenWaves apresenta nove núcleos RISC-V (Imagem: GreenWaves Technologies)

Para manter consumo baixo, o GAP8 emprega paralelismo não para velocidade mas para permitir frequência de clock e voltagem mais baixas. O acelerador de hardware do chip pode realizar uma convolução 5x5 em dados de 16 bits em um único ciclo. Como redes neurais convolucionais (CNNs) usam entradas e pesos de tamanho fixo, o gerenciamento de memória pode ser determinado em tempo de compilação, reduzindo ainda mais overhead de runtime.

Equilibrar especialização com flexibilidade é um desafio. "IA evolui rapidamente. O que é cutting-edge hoje pode ser obsoleto amanhã", alertou Croome. "Devemos evitar super-especialização, para permanecermos ágeis e adaptarmos a futuras inovações."

O GAP8 está em sampling há um ano; produção começará este mês, com remessas em volume previstas para final de Q3.

Meetups TinyML são realizadas na última quinta-feira de cada mês na Bay Area e recebem participantes da indústria e academia.