A arquitetura do sensor empilhado traz recursos de visão avançados

PARIS - Prophesee, uma startup sediada em Paris que foi pioneira em sistemas de visão neuromórfica, apresentou esta semana na Conferência Internacional de Circuitos de Estado Sólido (ISSCC) em San Francisco um novo sensor de visão baseado em eventos empilhado desenvolvido em conjunto com a Sony Corp.

Projetado pela tecnologia orientada a eventos da Prophesee, o novo sensor foi desenvolvido com base em tecnologias projetadas pela Sony para sensores de imagem CMOS empilhados avançados.

Chip de pixel (esquerda) e chip lógico (Fonte:Prophesee)

Para sistemas orientados a eventos, o novo sensor oferece o menor tamanho de pixel da indústria e o desempenho de alta faixa dinâmica (HDR) mais alto da indústria, afirmou Prophesee. O sensor inspirado no cérebro permitiria que máquinas industriais, robôs e veículos autônomos vissem e percebessem melhor o ambiente.

A parceria pode anunciar uma nova era em que a IA - tanto a detecção de IA quanto o processamento de IA - poderia ocorrer muito perto do sensor, se não ainda no próprio sensor, onde os dados são gerados.

Luca Verre, CEO da Prophesee
O que isso traz para as duas empresas?

A Sony é a empresa líder mundial em sensores de imagem CMOS. Sua parceria confere credibilidade comercial à nova tecnologia de detecção da Prophesee. Luca Verre, CEO da Prophesee, espera que a mudança abra as portas para as câmeras baseadas em eventos da Prophesee para oportunidades de mercado de massa.

“Dada a natureza de nossa tecnologia, que usa muitos transistores, eletrônicos e fotodiodos, trabalhar com a Sony sempre foi nossa primeira escolha”, disse Verre ao EE Times . As empresas começaram a trabalhar juntas em 2017. Verre prometeu que as amostras dos primeiros sensores de visão baseados em eventos empilhados estarão disponíveis em 2020.

A parceria com a Prophesee pode vir a ser uma virada de jogo para a Sony, dando ao gigante japonês a chance de explorar a tecnologia de visão baseada em eventos.

Caixa de Pandora

Pierre Cambou, analista principal da Yole Développement, vê a parceria Prophesee-Sony como equivalente a "abrir a caixa de Pandora".

Pierre Cambou

Na câmera neuromórfica desenvolvida por Prophesee, “Cada pixel, em essência, é um neurônio”, observou Cambou. Chamando o desenvolvimento de empilhamento de chips de “ainda em sua fase inicial”, Cambou previu que, no futuro, neurônios, memória e processamento poderiam ser todos empilhados. O entusiasmo atual em trazer mais inteligência para o “limite” ou “ponto final” prenuncia um dia no futuro quando a IA será detectada e processada dentro do sensor.

A Sony será capaz de desenvolver um sensor de imagem integrado à IA que “pode aprimorar as imagens em tempo real” ou criar um sensor de imagem que “oferece diretamente a detecção baseada em eventos”, explicou Cambou.

Na verdade, alguém já aplicou redes neurais para “ Chegada de um trem em La Ciotat” - um famoso primeiro filme feito pelos Irmãos Lumiere em 1896 - para preencher os pixels ausentes. Esse esforço tornou possível reviver e aprimorar o filme de 124 anos para vídeo 4K em 60 quadros por segundo. Descrevendo esse vídeo aprimorado como toda a raiva na Internet, Cambou explicou que o poder da IA ​​foi comprovado no mundo da imagem.

A abordagem de biomimética à IA é uma alternativa à computação de von Neumann. “Isso aumentará sua importância à medida que a IA se tornar mais difundida”, disse Cambou.

“A chegada de um trem em La Cicotat”, originalmente filmado pelos Irmãos Lumiere em 1896, foi ampliado para 4K, 60 quadros por segundo, por Denis Shiryaev

Elementos básicos para sensores de visão baseados em eventos empilhados

No sensor orientado a eventos recém-projetado, o chip de pixel (superior) e o chip lógico (inferior) são empilhados juntos. A lógica incorpora circuitos de processamento de sinal projetados para detectar mudanças na luminância com base em um método de modulação delta assíncrona.

Cada pixel dos dois chips individuais é conectado eletricamente usando uma conexão cobre-cobre em uma configuração empilhada.



Isso permite que o novo sensor atinja o menor tamanho de pixel da indústria (4,86μm). Ele também oferece resolução de 1/2 tipo, 1280 × 720 HD, alcançando integração de alta densidade com um fino processo lógico de 40 nm.

Outro recurso do novo sensor orientado a eventos é sua capacidade de oferecer o que Prophesee afirma ser o desempenho de HDR mais alto da indústria:124 dB (ou mais). A equipe conseguiu isso colocando apenas pixels retroiluminados e uma parte do transistor MOS tipo N no chip de pixel (parte superior). Isso aumenta a taxa de abertura em até 77%, de acordo com Prophesee. Tecnologias de alta sensibilidade / baixo ruído que a Sony desenvolveu ao longo dos anos para sensores de imagem CMOS que possibilitaram a detecção de eventos em condições de pouca luz (40mlx).

Divisão de trabalho?

O CEO da Profhesee, Verre, observou que o papel da Sony na parceria não se limita a uma fundição. Com conhecimento sólido e um portfólio de IP próprio em tecnologia baseada em eventos, Verre disse:“Chegamos à mesa com uma ideia clara de como queríamos projetar pixels”. Os esforços colaborativos das duas empresas tornaram possível o novo design de sensor orientado a eventos - de analógico, lógico e de potência - combinado com o processo de fabricação avançado da Sony.

O relacionamento também não é um exercício puro de P&D, observou Verre. A intenção é manter uma parceria de longo prazo que leve a tecnologia ao mercado comercial no desenvolvimento de aplicativos.

O que isso significa para a Sony?

O mundo tem muitos jogadores em sensores de imagem CMOS. Cambou observou que a Sony levou a sério a previsão de que os sensores de imagem CMOS “não tratam mais apenas de imagens, mas na verdade de detecção” - um evangelho que Cambou vem pregando há muito tempo.

Lembra-se da aquisição da Sony em 2015 da SoftKinetic, com sede na Bélgica, uma desenvolvedora de tecnologias de visão computacional de detecção 3D? Cambou disse que a aquisição permitiu à Sony conquistar uma fatia no crescente mercado de sensores de tempo de vôo (ToF) que os fornecedores de smartphones Android começaram a exigir no ano passado. Imagine o que teria acontecido com a Sony se a empresa não tivesse se envolvido com a tecnologia de sensoriamento de profundidade naquela época, disse Cambou.

Para ele, a parceria com a Prophesee não é diferente. Quando os jogadores nos mercados automotivo e de visão de máquina industrial começam a procurar dados de sensoriamento mais ricos para aprimorar suas operações, eles são mais propensos a adicionar uma nova tecnologia de sensoriamento, em vez de lançar outra câmera idêntica.

Resumindo, a Prophesee poderia ser a empresa que capacita a Sony a entrar no mercado de sensores de imagem orientados a eventos, assim como a SoftKinetic tornou possível para a Sony desenvolver soluções “DepthSense” e colocá-las em smartphones.

Agora, com sua tecnologia DepthSense, a Sony está encaixando sensores de imagem ToF em muitos smartphones Android. Isso aumenta o número de vitórias de design de sensores de imagem CMOS que a Sony já acumulou nas câmeras frontal e traseira dos smartphones.