Câmeras Inteligentes Aprendem a Entender Seu Mundo Visual

Roboticistas e pesquisadores de inteligência artificial (IA) sabem que há um problema em como os sistemas atuais sentem e processam o mundo. Atualmente, eles ainda estão combinando sensores — como câmeras digitais projetadas para gravar imagens — com dispositivos de computação como unidades de processamento gráfico (GPUs) projetadas para acelerar gráficos para videogames.

Problema: Dados Irrelevantes Congestionam o Sistema

Isso significa que sistemas de IA percebem o mundo apenas após gravar e transmitir informação visual entre sensores e processadores. Mas muitas coisas que podem ser vistas são frequentemente irrelevantes para a tarefa em questão, como o detalhe de folhas em árvores à beira da estrada enquanto um carro autônomo passa. No momento, toda essa informação é capturada por sensores em detalhes meticulosos e enviada, congestionando o sistema com dados irrelevantes, consumindo energia e tempo de processamento.

Inspiração em Sistemas Naturais de Processamento Visual

Pesquisadores buscaram inspiração na forma como sistemas naturais processam o mundo visual — os olhos e o cérebro humanos trabalham juntos para dar sentido ao mundo e, em alguns casos, os próprios olhos realizam processamento para ajudar o cérebro a reduzir o que não é relevante. Os pesquisadores implementaram Redes Neurais Convolucionais (CNNs), uma forma de algoritmo de IA para permitir compreensão visual, diretamente no plano da imagem. As CNNs podem classificar frames a milhares de vezes por segundo sem nunca ter que gravar estas imagens ou enviá-las pelo pipeline de processamento. Os pesquisadores consideraram demonstrações de classificação de números manuscritos, gestos de mão, e até plâncton.

Futuro: Câmeras de IA Dedicadas e Inteligentes

A pesquisa sugere um futuro com câmeras de IA dedicadas e inteligentes — sistemas visuais que podem simplesmente enviar informação de alto nível para o resto do sistema, como o tipo de objeto ou evento ocorrendo diante da câmera. Esta abordagem tornaria sistemas muito mais eficientes e seguros, pois nenhuma imagem precisa ser gravada.

Chip SCAMP: Pixel Processor Array (PPA)

O trabalho incorpora o SCAMP, um chip câmera-processador que a equipe descreve como um Pixel Processor Array (PPA). Um PPA tem um processador embutido em cada pixel que pode se comunicar entre si para processar de forma verdadeiramente paralela. Isso é ideal para CNNs e algoritmos de visão.

Integração de Sensoriamento, Processamento e Memória no Nível do Pixel

A integração de sensoriamento, processamento e memória no nível do pixel não apenas permite sistemas de alto desempenho e baixa latência, mas também promete hardware de baixa potência e alta eficiência. Dispositivos SCAMP podem ser implementados com footprints similares a sensores de câmera atuais, mas com a capacidade de ter um processador massivamente paralelo de propósito geral exatamente no ponto de captura de imagem.