Revolucionando a Visão Computacional: Como Sensores de Eventos Impulsionam Processamento de Imagens Mais Rápido e Inteligente

O aumento no conteúdo gerado por câmeras, nos setores de consumo e industrial, colocou uma carga na capacidade das máquinas de adquirir, processar e utilizar dados visuais de maneira prática e eficiente. Os desafios atuais incluem: uma quantidade esmagadora de dados sendo coletados (muito dos quais é irrelevante para máquinas); capacidades de processamento insuficientes (especialmente em aplicações restritas por tamanho e energia); e a demanda por processamento em tempo real. Consequentemente, desenvolvedores de sistemas habilitados para visão — abrangendo desde smartphones, wearables, casas inteligentes, IoT, sistemas, tecnologias automotivas até equipamentos de automação industrial — buscam maneiras de transformar a abordagem tradicional de detecção e aquisição de dados de visão.

Limitações da Visão Baseada em Frames

Tendo se originado em fornecer imagens para consumo humano, o progresso da tecnologia de câmeras ao longo de sua história — dependendo principalmente de métodos baseados em frames — está se mostrando inadequado para atender aos requisitos da visão computacional moderna. Por anos, a visão computacional dependeu de informações visuais adquiridas e estruturadas para interpretação humana: fluxos de vídeo compostos por imagens sequenciais capturadas por um sensor de imagem. Cada imagem representa uma foto estática em um momento particular, sem informações dinâmicas. Este método de coleta de dados visuais é prevalente na maioria dos sistemas de visão computacional projetados para monitorar mudanças e movimentos em ambientes dinâmicos.

Utilizando técnicas neuromórficas inspiradas no sistema de visão humano, a abordagem de visão baseada em eventos busca aumentar a eficiência e o desempenho em vários sistemas habilitados para visão nos setores de consumo, industrial, automotivo e outros para elevar segurança, produtividade e experiência do usuário. (Imagem: Prophesee)

O desafio predominante surge quando há movimento ou mudança em uma cena, o que é comum na maioria das aplicações de visão computacional, e as limitações inerentes da aquisição de frames visuais tornam-se aparentes. Independentemente da taxa de frames definida, se uma câmera tenta capturar uma cena em movimento, ela será consistentemente imprecisa. Como diferentes partes de uma cena tipicamente exibem dinâmicas variadas simultaneamente, empregar uma única taxa de amostragem para regular a exposição de pixels em um array de imagem inevitavelmente resulta em captura inadequada dessas dinâmicas de cena diversas ocorrendo concomitantemente.

Menos É Mais na Detecção de Eventos

Agravando este desafio, os problemas com sensores de imagem tradicionais são que eles são lentos e intensivos em energia, enquanto produzem dados redundantes excessivos e têm faixa dinâmica limitada, o que os torna inadequados para tarefas de visão computacional, particularmente aquelas em ambientes operacionais exigentes. Consequentemente, sistemas de visão baseados em eventos "neuromórficos" biologicamente inspirados estão surgindo como alternativas que oferecem velocidade aprimorada, latência mínima, melhor eficiência energética e faixa dinâmica mais ampla que atendem bem a várias aplicações de visão computacional.

A visão baseada em eventos marca uma mudança de paradigma em como a informação visual é adquirida e processada para usos modernos de visão computacional. Utilizando técnicas neuromórficas inspiradas no sistema de visão humano, esta abordagem busca aumentar a eficiência e o desempenho em vários sistemas habilitados para visão nos setores de consumo, industrial, automotivo e outros para elevar segurança, produtividade e experiência do usuário.

A visão baseada em eventos opera diferentemente de câmeras tradicionais, pois é uma partida de uma taxa de aquisição uniforme para todos os pixels. Em vez disso, cada pixel determina independentemente seu tempo de amostragem baseado em mudanças de luz incidente graças a inteligência dedicada por pixel. Informação de detecção de contraste é encapsulada em 'eventos', compreendendo as coordenadas x,y do pixel e tempo preciso de geração do evento. Com os sensores baseados em eventos patenteados da Prophesee, por exemplo, pixels ativam inteligentemente ao detectar mudanças de contraste (movimento), facilitando a captura contínua de detalhes essenciais de movimento no nível do pixel.

A diferença em passar de taxas de frames fixas é como cada pixel pode ajustar sua taxa de amostragem de acordo com sua entrada visual. Esta abordagem personalizada permite que cada pixel determine seus pontos de amostragem reagindo a variações nos níveis de luz incidente. Consequentemente, o processo de amostragem não é mais ditado por uma fonte de tempo artificial, mas sim pelo próprio sinal ou especificamente por flutuações de amplitude temporal do sinal. O resultado produzido por tais câmeras evolui de sequências de imagens para um fluxo contínuo de dados individuais de pixel gerados condicionalmente baseados na dinâmica da cena.

Vantagens dos Sensores de Eventos

Sensores de eventos oferecem várias vantagens, incluindo operação de alta velocidade (equivalente a 10.000 fps), consumo de energia altamente eficiente (na faixa de microwatts), baixa latência para tempos de resposta mais rápidos, necessidades reduzidas de processamento de dados (10 a 10.000x menos que sistemas baseados em frames), e alta faixa dinâmica de até 120dB. Esses recursos tornam sensores de eventos adequados para várias aplicações e produtos.

Aplicando Visão Baseada em Eventos

Sensores de eventos habilitados por neuromórficos podem ser usados para uma variedade de tarefas de automação industrial, ajudando a melhorar produtividade, qualidade, segurança, proteção e manutenção preventiva. (Imagem: Prophesee)

Inicialmente, sensores de eventos neuromórficos encontraram uso comercial não em máquinas, mas para humanos, para restauração de visão em indivíduos com deficiência visual. Isso levou a casos de uso em automação industrial e monitoramento de processos. Esses usos demonstraram os benefícios dos sensores de eventos para numerosas tarefas de visão, especialmente aquelas envolvendo elementos em movimento rápido e mudança, condições de iluminação ambiente imprevisíveis e recursos limitados. Gerações subsequentes de sistemas baseados em eventos foram aplicadas em ambientes industriais para tarefas como contagem de alta velocidade, manutenção preventiva (ex: monitoramento de vibração), aumento de eficiência e segurança robótica, rastreamento ocular ou de gestos para AR/VR, bem como várias aplicações de logística e segurança.

Essas vantagens inerentes tornam sensores de eventos ideais para aplicações IoT. O consumo de energia desempenha um papel crítico em dispositivos IoT, particularmente aqueles que dependem de baterias. A visão baseada em eventos é adequada para tais cenários, pois opera em níveis de energia significativamente mais baixos comparados a sistemas de câmera baseados em frames. Além disso, câmeras baseadas em eventos se destacam em condições de iluminação desafiadoras comuns em muitas aplicações IoT devido ao seu processamento de informação independente de luz. Sua alta faixa dinâmica permite capturar uma ampla gama de intensidades de luz dentro de um único frame, tornando-os perfeitos para ambientes com condições de iluminação variadas, como cenas externas com luz solar intensa ou configurações noturnas.

Com faixa dinâmica excedendo 120dB, câmeras baseadas em eventos podem funcionar efetivamente mesmo em ambientes onde câmeras tradicionais lutam com condições de iluminação variadas — seja configurações extremamente brilhantes como espaços públicos ou veículos durante o dia ou cenários pouco iluminados como operações noturnas ou configurações de fábrica escuras onde sensores de eventos podem ser usados para tarefas de manutenção preventiva e monitoramento de segurança. (Imagem: Prophesee)

Com faixa dinâmica excedendo 120dB, câmeras baseadas em eventos podem funcionar efetivamente mesmo em ambientes onde câmeras tradicionais lutam com condições de iluminação variadas — seja configurações extremamente brilhantes como espaços públicos ou veículos durante o dia ou cenários pouco iluminados como operações noturnas ou configurações de fábrica escuras. Além disso, estas câmeras oferecem latência mínima ao transmitir informação apenas quando há mudança de brilho na cena. Resposta em tempo real prova vantajosa em situações de iluminação mudando rapidamente, como mudanças abruptas de claro para escuro ou vice-versa. Câmeras baseadas em eventos, que detectam alterações individuais na intensidade da luz, são menos propensas a motion blur comparadas a câmeras convencionais baseadas em frames.

Este recurso é particularmente valioso em cenários envolvendo movimentos rápidos, garantindo qualidade de imagem nítida. Novos usos que aproveitam este benefício estão sendo desenvolvidos para câmeras em smartphones, por exemplo, a parceria da Prophesee com a Qualcomm para integrar sua tecnologia baseada em eventos com a popular plataforma Snapdragon.

Desenvolvimento Adicional para IoT

Desenvolvimento adicional em sensores de eventos para IoT envolve adaptá-los para tarefas de visão de borda com capacidades limitadas de computação onboard devido à aquisição de dados esparsos. No entanto, desafios como formatos de dados não convencionais, taxas de dados variáveis e interfaces não padronizadas dificultaram adoção mais ampla. Para resolver este problema, a geração mais recente de sensores de eventos, exemplificada pelo GenX320 da Prophesee, visa melhorar integração e usabilidade em sistemas de visão de borda embarcados incorporando recursos como pré-processamento e formatação de dados de eventos, interfaces de dados compatíveis e conectividade de baixa latência com várias plataformas de processamento, incluindo processadores neuromórficos de alta eficiência energética. Por exemplo, o GenX320 oferece múltiplas funções de pré-processamento, interfaces adaptáveis e opções de gerenciamento de energia para atender eficientemente aplicações de visão sensíveis a energia.

Apesar de sua eficiência operacional, otimizar sensores de eventos para uso de baixa potência adequado para configurações IoT permanece crítico. Implementar uma gama de modos de energia e modos de operação específicos de aplicação pode aumentar significativamente a eficiência energética para aplicações 'always on'. Utilizar mecanismos e estratégias inteligentes de gerenciamento de energia no chip pode refinar ainda mais a flexibilidade e usabilidade do sensor; as soluções da Prophesee demonstraram consumo de energia reduzido para 36uW com funcionalidade inteligente de wake-on-events habilitada. Além disso, suportar modos de sono profundo e standby pode ser benéfico.

Considerações específicas para um sensor de eventos visando aplicações IoT incluem alcançar marcação de tempo de eventos com resolução de microssegundos com latência mínima junto com capacidades de interfaceamento perfeitas com SoCs padrão através de funções integradas de pré-processamento de dados de eventos. Aproveitar interfaces de saída MIPI ou CPI garante conectividade rápida com plataformas de processamento embarcadas, como microcontroladores de baixa potência e arquiteturas modernas de processadores neuromórficos. Privacidade no nível do sensor é garantida através dos dados de eventos esparsos e sem frames dos sensores de eventos e inclui remoção de cena estática.

Sensores baseados em eventos continuam a evoluir para atender às necessidades de uma gama mais ampla de aplicações. O sensor mais recente da Prophesee, o GenX320, o torna bem adequado às demandas de muitos casos de uso de IoT que devem operar em sistemas de menor potência e fator de forma pequeno. (Imagem: Prophesee)

Sensores baseados em eventos estão agora sendo utilizados em uma gama mais ampla de aplicações. Ao integrar esses sensores com plataformas IoT, desenvolvedores de produtos atendem necessidades específicas de mercado relacionadas a consumo de energia e tamanho. Casos de uso incluem renderização foveada para experiências AR/VR aprimoradas, rastreamento ocular para interfaces homem-máquina e aplicações de segurança como sistemas de monitoramento de motorista e detecção de emoção. Eles também suportam capacidades always-on para fins de segurança, como câmeras de detecção de queda e rastreamento de gestos/mãos para interfaces imersivas. No domínio AR/VR, aplicações como rastreamento inside-out e rastreamento de constelação baseados em LCDs piscando permitem rastreamento preciso de objeto ou controlador.

Novos casos de uso, habilitados por melhorias na tecnologia de silício, estão em desenvolvimento, incluindo tecnologia de luz estruturada de alta velocidade 3D que permite geração de nuvem de pontos em taxas de repetição de kilohertz para aplicações industriais. Sistemas inteligentes de casa conscientes de privacidade, como unidades de detecção de queda, também estão proliferando mais amplamente à medida que a tecnologia de visão aborda preocupações de privacidade ao não capturar ou transmitir imagens.

A visão baseada em eventos está a caminho de se estabelecer como um paradigma que criará um novo padrão em muitos mercados que exigem eficiência em como as máquinas podem ver. Nos últimos anos, evoluiu com sucesso para atender a uma gama mais ampla de usos. E ao continuar a se adaptar e atender aos requisitos de muitas aplicações, veremos mais câmeras baseadas em eventos ao nosso redor.

Este artigo foi escrito por Luca Verre, CEO e Co-fundador, Prophesee (Paris, França). Para mais informações, visite aqui.