Revolucionando a visão mecânica:como os sensores de eventos geram processamento de imagens mais rápido e inteligente

O aumento do conteúdo gerado por câmaras, nos sectores de consumo e industrial, sobrecarregou a capacidade das máquinas de adquirir, processar e utilizar eficazmente dados visuais de uma forma prática e eficiente. Os desafios atuais incluem:uma enorme quantidade de dados recolhidos (muitos dos quais são irrelevantes para as máquinas); capacidades de processamento insuficientes (especialmente em aplicações limitadas por tamanho e potência):e a demanda por processamento em tempo real. Consequentemente, os desenvolvedores de sistemas habilitados para visão – abrangendo desde smartphones, wearables, casas inteligentes, IoT, sistemas, tecnologias automotivas até equipamentos de automação industrial – estão buscando maneiras de transformar a abordagem tradicional de detecção de visão e aquisição de dados.

Tendo origem no fornecimento de imagens para consumo humano, o progresso da tecnologia das câmaras ao longo da sua história - baseando-se principalmente em métodos baseados em fotogramas - está a revelar-se inadequado para satisfazer os requisitos da moderna visão mecânica. Durante anos, a visão mecânica dependeu de informações visuais adquiridas e estruturadas para interpretação humana:fluxos de vídeo compostos de imagens sequenciais capturadas por um sensor de imagem. Cada imagem representa um instantâneo estático em um determinado momento sem informações dinâmicas. Este método de coleta de dados visuais é predominante na maioria dos sistemas de visão mecânica projetados para monitorar mudanças e movimentos em ambientes dinâmicos.
Utilizando técnicas neuromórficas inspiradas no sistema de visão humana, a abordagem de visão baseada em eventos busca aumentar a eficiência e o desempenho em vários sistemas habilitados para visão nos setores de consumo, industrial, automotivo e outros para elevar a segurança, a produtividade e a experiência do usuário. (Imagem:Profetizado)
O desafio predominante surge quando há movimento ou mudança em uma cena, o que é comum na maioria das aplicações de visão mecânica, e as limitações inerentes à aquisição de quadro visual tornam-se aparentes. Independentemente da taxa de quadros definida, se uma câmera tentar capturar uma cena em movimento, ela será consistentemente imprecisa. Como diferentes partes de uma cena normalmente exibem dinâmicas variadas simultaneamente, o emprego de uma única taxa de amostragem para regular a exposição de pixels em uma matriz de imagens resulta inevitavelmente na captura inadequada dessas diversas dinâmicas de cena que ocorrem simultaneamente.

Menos é mais ao detectar eventos

Para agravar este desafio, os problemas com os sensores de imagem tradicionais são que eles são lentos e consomem muita energia, ao mesmo tempo que produzem dados redundantes excessivos e têm alcance dinâmico limitado, o que os torna inadequados para tarefas de visão mecânica, especialmente aquelas em ambientes operacionais exigentes. Consequentemente, sistemas de visão baseados em eventos “neuromórficos” de inspiração biológica estão agora emergindo como alternativas que oferecem maior velocidade, latência mínima, melhor eficiência energética e faixa dinâmica mais ampla que atendem bem a diversas aplicações de visão mecânica.

A visão baseada em eventos marca uma mudança de paradigma na forma como a informação visual é adquirida e processada para usos modernos de visão mecânica. Utilizando técnicas neuromórficas inspiradas no sistema de visão humana, esta abordagem procura melhorar a eficiência e o desempenho em vários sistemas habilitados para visão nos setores de consumo, industrial, automotivo e outros para elevar a segurança, a produtividade e a experiência do usuário.

A visão baseada em eventos opera de maneira diferente das câmeras tradicionais, pois difere de uma taxa de aquisição uniforme para todos os pixels. Em vez disso, cada pixel determina independentemente o seu tempo de amostragem com base nas alterações do incidente de luz, graças à inteligência dedicada por pixel. As informações de detecção de contraste são encapsuladas em ‘eventos’, compreendendo as coordenadas x, y do pixel e o tempo preciso de geração do evento. Com os sensores baseados em eventos patenteados do Prophesee, por exemplo, os pixels são ativados de forma inteligente ao detectar alterações de contraste (movimento), facilitando a captura contínua de detalhes essenciais de movimento no nível do pixel.

A diferença na mudança de taxas de quadros fixas é como cada pixel pode ajustar sua taxa de amostragem de acordo com sua entrada visual. Esta abordagem personalizada permite que cada pixel determine seus pontos de amostragem reagindo às variações nos níveis de luz incidente. Consequentemente, o processo de amostragem não é mais ditado por uma fonte de temporização artificial, mas sim pelo próprio sinal ou especificamente pelas flutuações de amplitude do sinal temporal. O resultado produzido por tais câmeras evolui de sequências de imagens para um fluxo contínuo de dados de pixels individuais gerados condicionalmente com base na dinâmica da cena.

Os sensores de eventos oferecem diversas vantagens, incluindo operação em alta velocidade (equivalente a 10.000 fps), consumo de energia altamente eficiente (até a faixa de microwatts), baixa latência para tempos de resposta mais rápidos, necessidades reduzidas de processamento de dados (10-10.000x menos que sistemas baseados em quadros) e uma alta faixa dinâmica de até 120dB. Esses recursos tornam os sensores de eventos adequados para diversas aplicações e produtos.

Aplicando visão baseada em eventos

Sensores de eventos habilitados para neuromórficos podem ser usados para uma variedade de tarefas de automação industrial, ajudando a melhorar a produtividade, qualidade, segurança e manutenção preventiva. (Imagem:Profetizado)
Inicialmente, os sensores de eventos neuromórficos encontraram uso comercial não em máquinas, mas em humanos, para restauração da visão em indivíduos com deficiência visual. Isso levou a casos de uso em automação industrial e monitoramento de processos. Esses usos demonstraram os benefícios dos sensores de eventos para inúmeras tarefas de visão, especialmente aquelas que envolvem elementos em movimento e mudança rápida, condições de iluminação ambiente imprevisíveis e recursos limitados. As gerações subsequentes de sistemas baseados em eventos foram aplicadas em ambientes industriais para tarefas como contagem de alta velocidade, manutenção preventiva (por exemplo, monitoramento de vibração), aumento da eficiência e segurança robótica, rastreamento ocular ou de gestos para AR/VR, bem como diversas aplicações de logística e segurança/proteção.

Essas vantagens inerentes tornam os sensores de eventos ideais para aplicações IoT. O consumo de energia desempenha um papel crítico em dispositivos IoT, especialmente aqueles que dependem de baterias. A visão baseada em eventos é adequada para tais cenários, pois opera em níveis de potência significativamente mais baixos em comparação com sistemas de câmeras baseados em quadros. Além disso, as câmeras baseadas em eventos se destacam em condições desafiadoras de iluminação, comuns em muitas aplicações de IoT, devido ao seu processamento de informações independente da luz. Sua alta faixa dinâmica permite capturar uma ampla gama de intensidades de luz em um único quadro, tornando-os perfeitos para ambientes com condições de iluminação variadas, como cenas externas com luz solar intensa ou ambientes noturnos.
Com uma faixa dinâmica superior a 120 dB, as câmeras baseadas em eventos podem funcionar de maneira eficaz mesmo em ambientes onde as câmeras tradicionais enfrentam condições de iluminação variadas — sejam ambientes extremamente claros, como espaços públicos ou veículos durante o dia, ou cenários com pouca iluminação, como operações noturnas ou ambientes escuros de fábrica, onde sensores de eventos podem ser usados para tarefas de manutenção preventiva e monitoramento de segurança. (Imagem:Profetizado)
Com uma faixa dinâmica superior a 120 dB, as câmeras baseadas em eventos podem funcionar de maneira eficaz mesmo em ambientes onde as câmeras tradicionais enfrentam condições de iluminação variadas — sejam ambientes extremamente claros, como espaços públicos ou veículos durante o dia, ou cenários com pouca iluminação, como operações noturnas ou configurações escuras de fábrica. Além disso, essas câmeras oferecem latência mínima, transmitindo informações apenas quando há alteração no brilho da cena. A resposta em tempo real é vantajosa em situações de iluminação que mudam rapidamente, como mudanças abruptas de claro para escuro ou vice-versa. As câmeras baseadas em eventos, que detectam alterações individuais na intensidade da luz, são menos propensas ao desfoque de movimento em comparação com as câmeras convencionais baseadas em quadros.

Este recurso é particularmente valioso em cenários que envolvem movimentos rápidos, garantindo qualidade de imagem nítida. Novos usos que aproveitam esse benefício estão sendo desenvolvidos para câmeras em smartphones, por exemplo, a parceria da Prophesee com a Qualcomm para integrar sua tecnologia baseada em eventos com a popular plataforma Snapdragon.

O desenvolvimento adicional de sensores de eventos para IoT envolve adaptá-los para tarefas de visão de ponta com capacidades limitadas de computação integrada devido à aquisição de dados esparsos. No entanto, desafios como formatos de dados não convencionais, taxas de dados variáveis ​​e interfaces não padronizadas têm dificultado uma adoção mais ampla. Para resolver esse problema, a última geração de sensores de eventos, exemplificada pelo GenX320 da Prophesee, visa aprimorar a integração e a usabilidade em sistemas de visão de borda incorporados, incorporando recursos como pré-processamento e formatação de dados de eventos, interfaces de dados compatíveis e conectividade de baixa latência com várias plataformas de processamento, incluindo processadores neuromórficos com eficiência energética. Por exemplo, o GenX320 oferece múltiplas funções de pré-processamento, interfaces adaptáveis ​​e opções de gerenciamento de energia para atender com eficiência aplicações de visão sensíveis à energia.

Apesar de sua eficiência operacional, a otimização de sensores de eventos para uso de baixo consumo de energia adequado para configurações de IoT continua crítica. A implementação de uma variedade de modos de energia e modos de operação específicos da aplicação pode melhorar significativamente a eficiência energética para aplicações “sempre ligadas”. A utilização de mecanismos e estratégias de gerenciamento de energia inteligente no chip pode refinar ainda mais a flexibilidade e a usabilidade do sensor; As soluções da Prophesee demonstraram redução do consumo de energia até 36uW com a funcionalidade inteligente de ativação de eventos habilitada. Além disso, o suporte aos modos de espera e sono profundo pode ser benéfico.

Considerações específicas para um sensor de eventos direcionado a aplicações IoT incluem a obtenção de registro de data e hora de resolução de microssegundos de eventos com latência mínima, juntamente com recursos de interface contínua com SoCs padrão por meio de funções integradas de pré-processamento de dados de eventos. O aproveitamento das interfaces de saída MIPI ou CPI garante conectividade rápida com plataformas de processamento incorporadas, como microcontroladores de baixo consumo de energia e arquiteturas modernas de processadores neuromórficos. A privacidade no nível do sensor é garantida por meio de dados de eventos esparsos e sem moldura dos sensores de eventos e inclui a remoção de cenas estáticas.
Os sensores baseados em eventos continuam a evoluir para atender às necessidades de uma ampla gama de aplicações. O sensor mais recente do Prophesee, o Genx320, o torna adequado às demandas de muitos casos de uso de IoT que devem operar em sistemas de baixo consumo de energia e fator de forma pequeno. (Image:Prophesee)
Sensores baseados em eventos estão sendo utilizados agora em uma ampla gama de aplicações. Ao integrar esses sensores às plataformas IoT, os desenvolvedores de produtos atendem às necessidades específicas do mercado relacionadas ao consumo e tamanho de energia. Os casos de uso incluem renderização para experiências aprimoradas de AR/VR, rastreamento ocular para interfaces homem-máquina e aplicações de segurança, como sistemas de monitoramento de motoristas e detecção de emoções. Eles também oferecem suporte a recursos sempre ativos para fins de segurança, como câmeras de detecção de queda e rastreamento de gestos/mãos para interfaces imersivas. No domínio AR/VR, aplicações como rastreamento de dentro para fora e rastreamento de constelações com base em LCDs tremeluzentes permitem rastreamento preciso de objetos ou controladores.

Outros novos casos de uso, possibilitados pelo aprimoramento da tecnologia de silício, estão em desenvolvimento, incluindo a tecnologia 3D de luz estruturada de alta velocidade que permite a geração de nuvens de pontos com taxas de repetição de quilohertz para aplicações industriais. Os sistemas domésticos inteligentes preocupados com a privacidade, como as unidades de detecção de quedas, também estão proliferando de forma mais ampla, à medida que a tecnologia de visão aborda as questões de privacidade ao não capturar ou transmitir imagens.

A visão baseada em eventos está a caminho de se estabelecer como um paradigma que criará um novo padrão em muitos mercados que exigem eficiência na forma como as máquinas podem ver. Nos últimos anos, ele evoluiu com sucesso para atender a uma ampla gama de usos. E ao continuarmos a adaptar e atender aos requisitos de muitas aplicações, veremos mais câmeras baseadas em eventos ao nosso redor.

Este artigo foi escrito por Luca Verre, CEO e cofundador da Prophesee (Paris, França). Para mais informações, acesse aqui  .