Visão neuromórfica assume diversas aplicações

A empresa de visão baseada em eventos Prophesee apresentou algumas aplicações interessantes para seus sensores de visão em todo o mundo, abrangendo biotecnologia, análise científica, robótica e tecnologias espaciais. Um projeto restaurou parcialmente a visão de uma pessoa cega; outro rastreia lixo espacial no céu, seja de noite ou de dia.

A Prophesee disse que tem uma comunidade de 2.200 inventores trabalhando com sua tecnologia hoje. Os projetos são apresentados como parte da comunidade de inventores da Prophesee, que visa inspirar a criatividade futura. Aqui estão os detalhes.

Restaurando a visão

A Gensight Biologics restaurou parcialmente a função visual em um paciente com retinite pigmentar em estágio avançado. O tratamento usa óculos especiais equipados com um sensor de visão baseado em eventos Prophesee.

Como parte da terapia, a retina do paciente foi tratada com proteínas sensíveis à luz derivadas de algas, que tornam as células da retina sensíveis à luz âmbar (590 nm). O sensor de visão Prophesee é parte de um par de óculos que convertem o sinal de visão em luz âmbar de alta intensidade que brilha no olho do paciente. Após sete meses de uso dos óculos, o paciente (que antes era totalmente cego) conseguiu enxergar bem o suficiente para detectar uma faixa de pedestres marcada na rua. Ele foi capaz de identificar um caderno em uma mesa à sua frente (92% do tempo) e um estojo (36% do tempo). Ele poderia pegar objetos e contá-los.

A Gensight Biologics integrou o sensor Prophesee em óculos de proteção que traduzem imagens do mundo em luz âmbar. As células modificadas na retina do paciente são capazes de detectar essa luz e entendê-la. (Fonte:Gensight Biologics / Prophesee)

O paciente vê as bordas das formas cortesia do sensor Prophesee, que fornece uma experiência visual rápida e suave, que é robusta às condições de iluminação. O sensor gera dados esparsos; nenhum tempo é gasto na recodificação de imagens.

Os resultados do estudo, realizado em parceria com a Universidade de Basel-UPMC, foram publicados na Nature Medicine. Embora este trabalho tenha se preocupado apenas com um paciente, e seja preliminar, ele deve ser visto como um resultado significativo para a aplicação desta técnica e tratamento de pacientes com doenças neurodegenerativas e muito mais.

Terapia celular

Cambridge Consultants, no Reino Unido, tem usado o sensor Prophesee em um sistema de imagens médicas para terapia celular. A terapia celular tem potencial para o tratamento de câncer, doenças autoimunes e neurológicas, entre suas aplicações, com base na reprogramação de células do próprio paciente. A fabricação das células reprogramadas é um processo manual trabalhoso com uma única dose que custa em média US $ 475.000.

Uma etapa fundamental do processo verifica se as amostras são estéreis. Isso pode levar de 7 a 14 dias para a incubação, enquanto o paciente aguarda o tratamento. Se forem detectados contaminantes, novas amostras devem ser coletadas e o período de incubação começa novamente. Os consultores de Cambridge usaram o sensor de imagem da Prophesee para olhar as amostras no nível da célula, com modelos de IA para detectar, rastrear e classificar contaminantes em tempo real (<18 ms em comparação com 7 a 14 dias).

PureSentry usa o sensor Prophesee combinado com AI para detectar contaminantes (neste caso, E. coli) com base no tamanho, forma e movimento. (Fonte:Cambridge Consultants)

O sistema PureSentry desenvolvido pela Cambridge Consultants pode rastrear células humanas e contaminantes com precisão e exatidão à frente de outras técnicas. A empresa mostrou um vídeo da bactéria E. coli sendo detectada em uma amostra com base em seu tamanho, forma e movimento característico. Ele funciona em condições mais difíceis, como baixa luminosidade e altas taxas de fluxo e é um teste não destrutivo. Este dispositivo pode ajudar a aumentar a automação no processo de terapia celular; não são necessários técnicos altamente qualificados.

Rastreando partículas

Uma equipe da University of Glasgow, Heriot-Watt University e da University of Strathclyde tem usado o sensor de imagem da Prophesee para detecção e rastreamento de partículas em alta velocidade. O objetivo é tornar a análise microfluídica mais rápida e barata.

A equipe conseguiu criar o perfil de partículas de até 1 µm em velocidades de fluido de até 1,54 m / se capturar dados em uma resolução de tempo equivalente a 20.000 imagens por segundo. Sua configuração usa o sensor de visão baseado em eventos Prophesee com um microscópio de fluorescência padrão e iluminação.

Toque de robô

Pesquisadores da Universidade Nacional de Cingapura estão usando a visão baseada em eventos em combinação com uma nova tecnologia de sensor de toque para construir uma sensação de toque para os braços e mãos do robô.

O sensor de toque desenvolvido pelos pesquisadores, NeuTouch, é um conjunto de 39 sensores montados na ponta do dedo do robô. Este sensor produz sinais de “pico”, semelhantes ao sensor Prophesee, que podem ser processados ​​por um processador neuromórfico (especificamente, Intel Loihi).

O sensor NeuTouch da Universidade Nacional de Cingapura é comparável em tamanho a um dedo humano (A), é composto de partes análogas a ossos e pele (B) e contém 39 pixels táteis ou "táteis" (C). (Fonte:National University of Singapore / Prophesee)

Este trabalho é importante porque demonstra uma forma de integrar e extrair significado de dados de vários sensores (o sensor de toque e o sensor Prophesee) ao mesmo tempo, de forma adequada para tarefas complexas em sistemas com restrição de energia.

O robô foi treinado para coletar recipientes com diferentes quantidades de líquido; foi capaz de determinar o que era o líquido e quanto pesava. A informação de peso veio do sensor de visão por causa da forma como cada recipiente deformava ao ser recolhido.

O robô foi testado com o “teste de escorregamento” - determinando a quantidade mínima de pressão necessária para agarrar o objeto com segurança. Uma combinação de detecção de toque e visão significa que o sistema pode detectar deslizamentos muito rapidamente, 1000 vezes mais rápido que o toque humano, detectando deslizamentos rotacionais em 0,08s.

Os pesquisadores esperam que essa tecnologia possa ser usada para robótica industrial e até mesmo para restaurar o sentido do tato para mãos protéticas.

Leia EE Times 'Relatar sobre esta tecnologia emocionante aqui.

Detritos espaciais

A Western Sydney University desenvolveu o Astrosite, um observatório móvel que usa a tecnologia Prophesee combinada com telescópios para rastrear detritos espaciais em órbita ao redor da Terra.

Observatórios do telescópio de astrosita prontos para serem implantados (Fonte:Western Sydney University)

O número crescente de satélites em órbita significa que o risco de colisão com outros objetos está aumentando; existem cerca de 4850 satélites no espaço, mas apenas cerca de 40% estão ativos. O monitoramento de satélites mortos e outros detritos geralmente é feito com câmeras de alta resolução, que não são ideais para capturar imagens à luz do dia. Eles também capturam principalmente o espaço vazio, resultando no processamento de muitos dados desnecessários.

A detecção baseada em eventos é uma boa solução, pois captura dados sobre as mudanças em seu campo de visão. O Astrosite gera de 10x a 1000x menos dados usando o sensor baseado em eventos Prophesee do que um sistema de câmera convencional. Também pode monitorar detritos continuamente (dia e noite) com resolução de microssegundos, em baixa potência.

>> Este artigo foi publicado originalmente em nosso site irmão, EE Times Europe.

---

Conteúdos Relacionados:

• Chips de IA neuromórficos para estreia de redes neurais de spiking
• A fusão do sensor permite a aderência robótica
• A arquitetura do sensor empilhado traz recursos de visão avançados
• O algoritmo de aprendizado de máquina explora a variabilidade ReRAM
• Ferramentas movem-se para cima na cadeia de valor para tirar o mistério da IA ​​da visão

Para obter mais informações sobre o Embedded, assine o boletim informativo semanal da Embedded por e-mail.