Provedores de nuvem citam o papel à medida que a inferência de IA se move para a borda

A realização de inferência de IA em dispositivos de borda incorporados é atraente em situações em que é necessária baixa latência ou onde os volumes de dados coletados na borda custariam muito para enviar para a nuvem. Avanços em aceleradores de aprendizado de máquina dedicados, microcontroladores de última geração e modelos de IA e software significam que mais inferência de IA pode ser feita com orçamentos de energia de ponta do que nunca. No entanto, mesmo quando toda a inferência é feita no limite, a nuvem ainda é uma ferramenta útil para gerenciar dispositivos em campo, dizem os provedores de nuvem.

AWS IoT

No Embedded World Digital 2021, os provedores de nuvem AWS e Microsoft apresentaram suas soluções de ecossistema para dispositivos de IA de ponta.

“Executar o TensorFlow Light ou modelos de aprendizado de máquina nos próprios dispositivos é um recurso”, disse Rajeev Muralidhar, arquiteto de soluções especialista principal da AWS. “Mas a capacidade de construir um pipeline inteiro para o ciclo de vida do dispositivo de maneira segura, gerenciando-os em escala, a capacidade de implementar atualizações formais nos dispositivos para que você possa gerenciar as versões em execução neles, fornecer mais segurança, mais recursos, e também a capacidade de atualizar os modelos de ML em execução - este é outro recurso importante. ”

A AWS fornece uma infraestrutura para isso por meio de sua plataforma AWS IoT. Essa plataforma, disse Muralidhar, compreende três partes principais - software do lado do dispositivo (FreeRTOS ou AWS Greengrass), componentes de controle e conectividade (AWS IoT Core) e serviços analíticos.

AWS oferece suporte para dispositivos Edge AI por meio de sua plataforma IoT (Imagem:AWS)

FreeRTOS é um sistema operacional de código aberto amplamente usado para dispositivos de nível de microcontrolador. Ele vem com suporte de longo prazo (RTS), que garante atualizações de segurança, atualizações de recursos e correções de bugs por dois anos. Ele também vem com recursos para fazer atualizações remotas com segurança e distribuir firmware para os dispositivos em escala que foram implantados em campo. O kernel do FreeRTOS pode se comunicar diretamente com um gateway de dispositivo que pode estar executando o AWS Greengrass.

O AWS IoT Core é o ponto de entrada para dados na nuvem. Inclui um corretor de mensagens que pode decretar regras sobre os dados, seja para armazená-los ou movê-los para um banco de dados ou painel para análise, como o SageMaker para análise de aprendizado de máquina.

A plataforma AWS IoT também possui componentes para gerenciamento de frota em grande escala, gerenciamento de dispositivos e análise de IoT, bem como um recurso de gerenciamento de eventos que pode automatizar a detecção e resposta a eventos provenientes de seus dispositivos IoT.

“O gerenciamento do ciclo de vida do dispositivo de ponta a ponta é crucial quando você está pensando em dispositivos em escala, e a capacidade de atualizar o sistema operacional subjacente desses dispositivos também é crucial”, disse Muralidhar. “Você deseja fazer isso com segurança, deseja alternar as credenciais de segurança para não comprometer a segurança de sua frota de dispositivos.”

O ideal é enviar os dados recebidos para a nuvem para que haja avaliação e treinamento contínuos, disse Muralidhar.

“[Então] quando você tiver modelos mais novos atualizados e mais precisos, você pode puxá-los para dentro do dispositivo e implementá-lo em toda a sua frota de dispositivos no chão de fábrica ou em sua frota de veículos conectados", disse ele. “Dessa forma, os dispositivos que estão funcionando em seus veículos são mais capazes e podem reagir com mais rapidez e precisão.”

Azure Percept

No show, a Microsoft também fez apresentações sobre seu novo conceito Azure Percept. Azure Percept é uma plataforma de hardware e software para IA de ponta que tira proveito de algumas das ofertas de nuvem do Azure - incluindo gerenciamento de dispositivos, desenvolvimento de modelo de IA e análises. As ferramentas de nuvem do Azure são usadas para gerenciar dispositivos e acessar modelos de IA de código aberto ou criar novos.

A plataforma Azure Percept da Microsoft é tanto hardware quanto software. O hardware inclui um Módulo de plataforma confiável (centro), módulo Azure Percept Audio (esquerda) e módulo Azure Percept Vision (direita) (Imagem:Microsoft)

A empresa também lançou um kit de desenvolvimento de hardware com dois módulos. O módulo Azure Percept Vision para visão computacional no limite é baseado no acelerador Movidius Myriad X AI da Intel. Há também um módulo Azure Percept Audio, mas nenhum detalhe desse módulo estava disponível.

Com esta nova oferta, a Microsoft deseja fornecer uma solução ponta a ponta que reduza as barreiras de entrada de não especialistas. A ideia é simplificar o desenvolvimento, treinamento e implantação de IA de ponta.

O Azure Percept também se conecta ao Hub IoT do Azure, projetado para facilitar a comunicação segura entre os dispositivos IoT e a nuvem do Azure.

No futuro, a Microsoft está planejando expandir o número de dispositivos Azure Percept disponíveis de terceiros. Os desenvolvedores que usam o kit de desenvolvimento de hardware atual serão capazes de implantar sua solução em dispositivos certificados pela Percept disponíveis no mercado.

>> Este artigo foi publicado originalmente em nosso site irmão, EE Times Europe.