Criação de aplicativos IoT eficazes com tinyML e aprendizado de máquina automatizado

A IoT permite o monitoramento contínuo de ambientes e máquinas usando sensores minúsculos. Os avanços nas tecnologias de sensores, microcontroladores e protocolos de comunicação tornaram possível a produção em massa de plataformas IoT, com muitas opções de conectividade, a preços acessíveis. Devido ao baixo custo do hardware de IoT, os sensores estão sendo implantados em grande escala em locais públicos, residenciais e em máquinas.

Esses sensores monitoram as propriedades físicas associadas aos seus ambientes de implantação, 24 horas por dia, 7 dias por semana, e geram uma grande quantidade de dados. Por exemplo, acelerômetros e giroscópios implantados em uma máquina rotativa estão constantemente registrando os padrões de vibração e a velocidade angular do rotor conectado ao eixo. Os sensores de qualidade do ar monitoram continuamente os gases poluentes no ar, em ambientes internos ou externos. Os microfones em uma babá eletrônica estão sempre ouvindo. Sensores dentro de relógios inteligentes medem constantemente parâmetros vitais de saúde. Da mesma forma, vários outros sensores, como magnetômetro, pressão, temperatura, umidade, luz ambiente, etc., medem as condições físicas onde quer que sejam implantados.

Os algoritmos de aprendizado de máquina (ML) permitem a descoberta de padrões interessantes nesses dados, que estão além da compreensão da análise e inspeção manual. A convergência de dispositivos IoT e algoritmos de ML permite uma ampla gama de aplicativos inteligentes e experiências de usuário aprimoradas, que são possíveis devido à baixa potência, baixa latência e inferência de aprendizado de máquina leve, ou seja, tinyML. Muitos setores verticais do setor estão sendo revolucionados por esta convergência, conforme articulado na Figura 1, incluindo, mas não se limitando a tecnologias vestíveis, casa inteligente, fábricas inteligentes (Indústria 4.0), automotivo, visão de máquina e outros dispositivos eletrônicos de consumo inteligentes.

tinyML com aprendizado de máquina automatizado

Os algoritmos de ML implantados em microcontroladores minúsculos (MCUs) em dispositivos IoT são particularmente interessantes devido a várias vantagens:

• Privacidade e segurança de dados:a inferência de ML acontece nos microcontroladores incorporados locais, em vez de ter que transmitir fluxos de dados para a nuvem para processamento. Os dados permanecem no dispositivo e no local, onde são privados e seguros.
• Economia de energia:os algoritmos tinyML consomem muito menos energia devido à pouca ou nenhuma transmissão de dados.
• Baixa latência e alta disponibilidade:como a inferência é realizada localmente, a latência é da ordem de milissegundos e não está sujeita à latência e disponibilidade da rede.

clique para ver a imagem em tamanho real

Figura 1:tinyML adiciona funcionalidades avançadas a dispositivos IoT tradicionais (Fonte:Qeexo)

O aprendizado de máquina automatizado usando dados de sensor envolve as etapas articuladas na Figura 2. A configuração de sensores e a coleta de dados de qualidade para o aplicativo ML de destino são concluídas antes dessas etapas. Uma plataforma de aprendizado de máquina automatizada como Qeexo AutoML gerencia todo o fluxo de trabalho para a construção de modelos de aprendizado de máquina leves e de alto desempenho para MCUs Arm Cortex-M0-a-M4 classe e outros ambientes restritos.

clique para ver a imagem em tamanho real

Figura 2:Fluxo de trabalho do Qeexo AutoML (Fonte:Qeexo)

tinyML com arquitetura ARM® Cortex ™ M0 +

A proliferação de tecnologias de IoT e os requisitos de implantação em larga escala de sensores estão expandindo ainda mais os limites das arquiteturas de microcontroladores e da computação de aprendizado de máquina. Por exemplo, os MCUs Arm Cortex M0 + rodando a 48 MHz são amplamente usados ​​em placas de sensores projetadas para aplicações IoT devido ao seu perfil de baixo consumo de energia. Ele consome apenas 7 mA por pino de E / S em comparação com a versão Cortex M4 que funciona a 64 MHz e consome 15 mA.

O baixo consumo de energia da classificação Cortex-M0 + MCUs tem o custo de memória e perfil de computação reduzidos. M0 + MCUs só podem realizar operações matemáticas de ponto fixo de 32 bits, não têm suporte aritmético de saturação e não têm recursos de DSP. Com base neste MCU, o Arduino Nano 33 IoT, uma das plataformas IoT populares, vem com apenas 256 KB de flash e 32 KB de SRAM. Em contraste, um módulo de sensor popular com arquitetura Cortex M4, o Arduino Nano 33 BLE Sense pode fazer operações de ponto flutuante de 32 bits, tem DSP e suporte aritmético de saturação, bem como quatro vezes o flash e oito vezes o SRAM.

A implantação de algoritmos de aprendizado de máquina no M0 + é ordens de magnitude mais desafiadores em comparação com a implantação em um M4 devido a estes três desafios principais:

• Cálculo de ponto fixo: O aprendizado de máquina típico com dados de sensor envolve processamento de sinal digital, extração de recursos e execução de inferência. A extração de recursos estatísticos e baseados em frequência (por exemplo, análise FFT) de sinais de sensor é crucial para o desenvolvimento de modelos de aprendizado de máquina de alto desempenho. Os fluxos de dados do sensor que representam fenômenos físicos do mundo real são de natureza não estacionária. De modo geral, quanto melhores forem as informações extraídas dos sinais dos sensores não estacionários, melhores serão as oportunidades de desenvolvimento de modelos de ML com alto desempenho. A execução de operações matemáticas em representação de ponto fixo enquanto mantém a precisão e o desempenho de nível comercial é um desafio. O pipeline de aprendizado de máquina de ponto fixo totalmente começa com a representação dos dados do sensor e vai até a inferência do modelo para gerar resultados de classificação / regressão.

• Baixa capacidade de memória: 256 KB de flash e 32 KB de SRAM colocam fortes restrições no tamanho dos modelos de aprendizado de máquina e na memória de tempo de execução que esses modelos podem utilizar durante a execução. Os problemas de aprendizado de máquina do mundo real geralmente têm limites de decisão / classificação complicados representados por modelos de aprendizado de máquina com grande número de parâmetros. Para modelos de conjunto baseados em árvore, resolver esses problemas complicados pode resultar em árvores profundas e um grande número de boosters, afetando o tamanho do modelo e a memória de tempo de execução. A redução no tamanho do modelo geralmente vem com o custo de sacrificar o desempenho do modelo - geralmente não é o critério mais desejável para compensar.

• Baixa velocidade de CPU: A baixa latência sempre foi uma métrica chave ao selecionar um modelo para implantações comerciais. A velocidade do clock de 16 MHz que sacrificamos em uma arquitetura M0 + de 48 MHz em comparação com a arquitetura M4 de 64 MHz faz uma grande diferença quando se trata de medições de latência de nível de milissegundo.

AutoML M0 + Framework

Desenvolvido para enfrentar esses desafios, o Qeexo AutoML fornece um pipeline de aprendizado de máquina de ponto fixo, altamente otimizado para a arquitetura Arm Cortex M0 +. Este pipeline inclui manipulação de dados de sensor em ponto fixo, computação de recurso de ponto fixo e inferência de ponto fixo para algoritmos de conjunto baseados em árvore, como Gradient Boosting Machine (GBM), Random Forest (RF) e eXtreme Gradient Boosting ( Algoritmos XGBoost). O Qeexo AutoML codifica os parâmetros do modelo de conjunto em estruturas de dados muito eficientes e os combina com uma lógica de interpretação que resulta em inferência extremamente rápida no destino M0 +. A Figura 3 articula o pipeline de aprendizado de máquina de ponto fixo desenvolvido por Qeexo para o alvo incorporado Arm Cortex M0 +.

clique para ver a imagem em tamanho real

Figura 3:Qeexo AutoML M0 + Pipeline de inferência (Fonte:Qeexo)

O Qeexo AutoML executa compactação e quantização de modelo com patente pendente para reduzir ainda mais a área de cobertura da memória dos modelos de conjunto desenvolvidos sem comprometer o desempenho de classificação. A Figura 4 descreve o processo de treinamento do Qeexo AutoML para o alvo incorporado Cortex M0 +.

clique para ver a imagem em tamanho real

Figura 4:Qeexo AutoML M0 + pipeline de treinamento (Fonte:Qeexo)

Poda Inteligente

A poda inteligente permite a compressão de modelos sem perda de desempenho. Em termos simples, o Qeexo AutoML primeiro constrói um modelo de conjunto de tamanho completo conforme recomendado por um otimizador de hiperparâmetro e, em seguida, seleciona de forma inteligente apenas os impulsionadores mais poderosos.

Essa abordagem de fazer crescer um modelo maior e, em seguida, podá-lo de maneira inteligente para a implantação de destino é muito mais eficaz do que construir um modelo menor em primeiro lugar. Um modelo inicial maior dá a oportunidade de selecionar reforçadores (ou árvores) de alto desempenho que, em última análise, resultam em um melhor desempenho do modelo.

Conforme mostrado na Figura 5, o modelo de conjunto compactado é cerca de 1/10 ^th o tamanho do modelo completo, embora tenha um desempenho de validação cruzada superior. (O eixo X representa o número de árvores (ou reforço) no modelo de conjunto e o eixo y representa o desempenho da validação cruzada.) Observe que nosso método de poda inteligente Qeexo AutoML seleciona apenas os 20 reforços mais poderosos, resultando em compressão de 90% no tamanho do modelo.

clique para ver a imagem em tamanho real

Figura 5:Eliminação do modelo inteligente do Qeexo AutoML (Fonte:Qeexo)

Quantização do modelo de conjunto

O Qeexo AutoML realiza a quantização pós-treinamento de algoritmos de conjunto. A quantização pós-treinamento é um recurso comoditizado para modelos baseados em redes neurais e é compatível com o uso imediato em estruturas como TensorFlow Lite. No entanto, a quantização de modelos de conjunto é a técnica com patente pendente da Qeexo que pode reduzir o tamanho do modelo ainda mais, enquanto melhora a latência do nível de MCU com pouca ou nenhuma degradação no desempenho do modelo. O pipeline Qeexo AutoML M0 + gera modelos de conjunto de ponto fixo representados na precisão de 32 bits. Opções adicionais para quantização de 16 e 8 bits podem reduzir ainda mais os modelos em ½ e ¼, respectivamente, com aumento de velocidade de 2x a 3x.

Exemplo de casos de uso de tinyML

Quais são alguns aplicativos ou casos de uso do tinyML? Existem possibilidades ilimitadas e aqui destacamos algumas:

1. Queremos fazer uma parede inteligente habilitada para IA na qual os usuários possam tocar para controlar a iluminação (ligar / desligar e alterar a intensidade da luz). Podemos definir os gestos das mãos associados com ON / OFF e controle de intensidade, então coletar e rotular os dados do gesto usando um módulo de acelerômetro e giroscópio preso na parte de trás da parede. Com esses dados rotulados, o Qeexo AutoML pode usar algoritmos de IA para construir um modelo para detectar os gestos de “bater” e “limpar” na parede para controlar a iluminação. No vídeo abaixo, você pode ver um protótipo de parede inteligente desenvolvido pela Qeexo AutoML em minutos.
2. Usando aprendizado de máquina e IoT, queremos garantir que as remessas sejam tratadas com extremo cuidado de acordo com as diretrizes de remessa. No vídeo abaixo, você pode ver como uma caixa de remessa habilitada para IA é capaz de detectar como a remessa foi tratada da origem ao destino.
3. A convergência de IA com IoT também pode criar bancadas de cozinha inteligentes. O vídeo abaixo mostra modelos construídos pelo Qeexo AutoML para detectar vários utensílios de cozinha.
4. O monitoramento de máquina é um dos casos de uso mais promissores do tinyML. Vários padrões de falha da máquina estão sendo detectados no vídeo abaixo.
5. A detecção de anomalias é outro cenário que se beneficia muito do aprendizado de máquina. Freqüentemente, é difícil coletar dados para várias falhas em um ambiente industrial, embora seja relativamente fácil monitorar o estado operacional saudável da máquina. Apenas observando o estado operacional saudável, os algoritmos do Qeexo AutoML podem desenvolver sistemas de IA para detecção de anomalias, conforme mostrado na parte 1 (abaixo), parte 2, parte 3 e parte 4.
   
   
6. O reconhecimento de atividades usando sensores embutidos em wearables é outro caso de uso que beneficia nossas vidas diárias. O vídeo abaixo demonstra a construção de uma solução de reconhecimento de atividades usando Qeexo AutoML em minutos.