Sensor alimentado por IA detecta assinaturas espectrais em culturas e folhas com velocidade incomparável

Laboratório Nacional Lawrence Berkeley, Berkeley, CA
Os cientistas do Berkeley Lab desenvolveram um sensor inteligente que primeiro “fareja” características espectrais de interesse em objetos de exemplo – aqui um tipo de colheita (acima) ou folha (abaixo). Em seguida, procura os alvos especificados num novo ambiente – um ambiente nunca antes visto, evitando ao mesmo tempo o processamento digital complicado. (Imagem:Ali Javey/Berkeley Lab)
Ferramentas de imagem espectral – câmeras que capturam cores além do espectro RGB visível aos nossos olhos – são vitais para coletar informações sobre o material e as propriedades estruturais de um objeto. Combiná-los com o aprendizado de máquina forneceu um pipeline poderoso para identificar recursos em aplicações do mundo real, incluindo fabricação de semicondutores, rastreamento de poluentes e monitoramento de colheitas.

Ao incorporar algoritmos de IA no próprio sensor da câmera, os pesquisadores do Laboratório Nacional Lawrence Berkeley do Departamento de Energia (Berkeley Lab) eliminaram agora um gargalo no processamento de dados que há muito prejudica o desempenho da tecnologia de imagem espectral. O resultado é um sensor inteligente capaz de identificar produtos químicos e caracterizar materiais de forma rápida e eficiente.

“Nós nos concentramos em melhorar a velocidade, a resolução e a eficiência energética das tecnologias de visão mecânica espectral existentes em mais de duas ordens de magnitude”, disse Ali Javey, o cientista que liderou o estudo da Science que relatou o dispositivo. Javey é cientista sênior do Berkeley Lab e professor de ciência e engenharia de materiais na UC Berkeley. O trabalho foi realizado em estreita colaboração com Aydogan Ozcan da UCLA.

O design do sensor ilustra como novas funcionalidades podem ser incorporadas aos próprios dispositivos semicondutores para melhorar sua eficiência e utilidade e permitir uma nova classe de hardware de visão de IA.

As tecnologias atuais de imagem espectral possuem sensores e módulos computacionais separados. O sensor primeiro captura uma pilha de imagens, cada uma correspondendo a uma determinada cor. Em seguida, a densa pilha de imagens é enviada a um processador digital para cálculos adicionais, que produz os resultados de identificação do objeto. É aí que surgem os problemas.

“Os sensores devem coletar e enviar muito mais dados ao processador digital do que as câmeras normais, cerca de dez a cem vezes maiores em volume”, disse Dehui Zhang, pós-doutorado na Divisão de Ciências de Materiais do Berkeley Lab e autor principal do estudo. Conseqüentemente, o sensor e o hardware do computador ficam frequentemente sobrecarregados, tornando as tarefas de reconhecimento de objetos extremamente lentas e que consomem muita energia.

Em vez disso, a equipe do Berkeley Lab desenvolveu sensores que realizam computação de IA e análise espectral durante o próprio processo de captura de imagem – ou fotodetecção.

“A fotodetecção pode ser percebida como um processo computacional físico automático”, explicou Zhang. Quando a luz atinge o sensor, sua intensidade é mapeada automaticamente para a intensidade de uma corrente elétrica. Como a resposta do sensor à luz pode ser facilmente ajustada, os pesquisadores têm um botão de ajuste para selecionar quais assinaturas espectrais serão destacadas e quais serão suprimidas. A corrente que sai do sensor para ser lida por um circuito serve, portanto, como uma inferência sobre o conteúdo espectral da imagem.

“Provamos que o processo computacional se assemelha matematicamente a um algoritmo normalmente usado para aprendizado de máquina digital”, disse Zhang. Essa analogia tornou possível usar o sensor como um computador de aprendizado de máquina e realizar os cálculos de aprendizado de máquina na própria luz que chega.

“Para mim, a parte mais interessante é o conceito de dar inteligência aos sensores”, disse Javey. Os sensores normais simplesmente coletam informações ambientais brutas, deixando as tarefas de reconhecimento inteligente para os processadores digitais.

Ao co-projetar os materiais semicondutores, dispositivos e algoritmos, a equipe permitiu que os sensores aprendessem e computassem sem a necessidade de pós-processamento digital de dados.

Mas as aplicações da tecnologia vão muito além da identificação de aves. Usando fotodiodos de fósforo negro, os pesquisadores demonstraram experimentalmente várias outras possibilidades intrigantes. Eles identificaram com sucesso a espessura da camada de óxido em amostras de semicondutores – que os gigantes da fabricação precisam ser perfeitamente uniformes – bem como estados de hidratação em diferentes folhas de plantas, segmentação de objetos em imagens ópticas e produtos químicos transparentes em uma placa de Petri.

“Estou otimista quanto ao futuro desses dispositivos para aplicações mais amplas”, disse Javey. No futuro, os sensores inteligentes poderão encontrar um lar não apenas na visão mecânica espectral, mas também em “outros sensores ópticos avançados e muito mais”.

Para mais informações, entre em contato com Este endereço de e-mail está protegido contra spambots. Você precisa ter o JavaScript habilitado para visualizá-lo.