Pinos do sistema de ultra baixa potência que AI espera no TinyML

SUNNYVALE, Califórnia - Um grupo de quase 200 engenheiros e pesquisadores se reuniu aqui para discutir a formação de uma comunidade para cultivar o aprendizado profundo em sistemas de ultra-baixa potência, um campo que eles chamam de TinyML. Em apresentações e diálogos, eles lutaram abertamente para controlar um ramo ainda imaturo da área de mais rápida evolução da tecnologia na esperança de habilitar uma nova classe de sistemas.

“Não faltam ideias incríveis”, disse Ian Bratt, um colega de aprendizado de máquina na Arm, dando início a uma discussão.

“Quatro anos atrás, as coisas estavam ficando chatas, e então o aprendizado de máquina apareceu com novos formatos de ponto flutuante e técnicas de compressão - é como ser jovem de novo. Mas há uma grande falta de maneiras de usar essas ideias em um sistema real para ganhar dinheiro ”, disse Bratt.

“O ecossistema de software é um oeste selvagem total. É tão fragmentado e um pouco confuso com Amazon, Google, Facebook e outros, todos empurrando seus frameworks ... Então, como um engenheiro de hardware pode obter algo que muitas pessoas possam usar ”, ele perguntou.

Um engenheiro da STMicroelectronics concordou.

“Acabei de perceber que existem pelo menos quatro compiladores para IA e os novos chips não serão usados ​​pelo designer embarcado tradicional. Portanto, precisamos estabilizar as interfaces de software e investir em interoperabilidade - um comitê de padrões deve trabalhar em interfaces comuns ”, sugeriu o engenheiro do STM.

Pode ser muito cedo para os padrões de software, disse Pete Warden, co-presidente do grupo TinyML e líder técnico do TensorFlow Lite do Google, uma estrutura voltada para ambientes móveis e incorporados.

“Culpamos os pesquisadores que mudam constantemente as operações e arquiteturas. Eles ainda estão descobrindo coisas sobre pesos, compressão, formatos e quantização. A semântica continua mudando e temos que acompanhá-la ”, disse Warden.

“Nos próximos anos, não há futuro para aceleradores que não executam computação de uso geral para lidar com uma nova operação ou função de ativação porque daqui a dois anos é provável que as pessoas tragam operações diferentes para a mesa”, acrescentou.

Um pesquisador da Microsoft AI concordou. “Estamos muito longe de onde pensamos que deveríamos estar e não chegaremos lá em um ou dois anos. Este foi o motivo pelo qual a Microsoft investiu em FPGAs ”para acelerar seus serviços de nuvem Azure. “Precisamos construir as camadas de abstração certas para permitir a inovação de hardware ... e se houvesse um acelerador de hardware de código aberto, isso poderia ajudar”, acrescentou.

“Talvez um padrão de conformidade seja o primeiro passo, então os pesquisadores obtêm a mesma experiência na borda que na nuvem”, sugeriu Bratt da Arm.

“Precisamos de especificações funcionais robustas para qualquer nível em que você vive. Se as tivermos em níveis suficientes, isso dará às pessoas um ponto de entrada para outras camadas, e este grupo é o melhor para defini-las”, disse Naveen Verma, Professor de Princeton cuja pesquisa se concentra em processadores de IA na memória.