Projeto do sistema de tempo de vôo:Visão geral do sistema

Câmeras de onda contínua (tempo de vôo CW (ToF) são um solução poderosa que oferece precisão de alta profundidade para aplicativos que requerem informações 3D de alta qualidade, mas os desenvolvedores precisam considerar vários fatores para atingir o melhor nível de desempenho.
Este é o primeiro artigo em nossa série de tempo de voo (ToF) que fornecerá uma visão geral da tecnologia de sistema de câmera CMOS ToF de onda contínua (CW) e suas vantagens sobre as soluções de imagem 3D tradicionais para aplicações de visão de máquina. Os artigos subsequentes se aprofundarão em alguns dos componentes de nível de sistema apresentados neste artigo, incluindo o subsistema de iluminação, óptica, gerenciamento de energia e processamento de profundidade.

Introdução

Muitas aplicações de visão de máquina agora requerem imagens de profundidade 3D de alta resolução para substituir ou aumentar a imagem 2D padrão. Essas soluções contam com a câmera 3D para fornecer informações de profundidade confiáveis ​​para garantir a segurança, especialmente quando as máquinas estão operando próximas a humanos. As câmeras também precisam fornecer informações de profundidade confiáveis ​​durante a operação em ambientes desafiadores, como em grandes espaços com superfícies altamente reflexivas e na presença de outros objetos em movimento.

Muitos produtos até agora têm usado soluções do tipo telêmetro de baixa resolução para fornecer informações de profundidade para aumentar a imagem 2D. No entanto, essa abordagem tem muitas limitações. Para aplicações que se beneficiam de informações de profundidade 3D de alta resolução, as câmeras CW CMOS ToF fornecem as soluções de mais alto desempenho do mercado. Alguns dos recursos do sistema habilitados pela tecnologia de sensor CW ToF de alta resolução são descritos em mais detalhes na Tabela 1. Esses recursos do sistema também se traduzem em casos de uso do consumidor, como bokeh de vídeo, autenticação facial e aplicativos de medição, bem como casos de uso automotivos, como como monitoramento do alerta do motorista e configuração automatizada na cabine.

Tabela 1. Tempo de onda contínua de recursos do sistema de voo
Recurso do sistema Ativadores Precisão e exatidão de profundidade • Frequência de modulação

• Esquemas de modulação e processamento de profundidade Faixa dinâmica • Ruído de leitura

• Taxa de quadros bruta Fácil de usar • Procedimento de calibração

• Compensação de temperatura

• Monitoramento de segurança ocular Operação externa • Sensibilidade a 940 nm

• Potência de iluminação e fusão de eficiência 2D / 3D • Tamanho do pixel

• Operação do multisistema de imagens de infravermelho de profundidade e 2D • Cancelamento no pixel da luz de interferência

• Sincronização da câmera

Onda contínua CMOS Tempo de voo Visão geral da câmera

Uma câmera de profundidade é uma câmera onde cada pixel mostra a distância entre a câmera e a cena. Uma técnica para medir a profundidade é calcular o tempo que leva para a luz viajar de uma fonte de luz na câmera para uma superfície reflexiva e de volta para a câmera. Esse tempo de viagem é comumente conhecido como tempo de voo (ToF).

clique para ver a imagem em tamanho real

Figura 1. Visão geral do tempo de onda contínua da tecnologia de sensor de vôo. (Fonte:Dispositivos analógicos)

Uma câmera ToF é composta por vários elementos (consulte a Figura 1), incluindo:

• uma fonte de luz - como um laser de emissão de superfície de cavidade vertical (VCSEL) ou diodo de laser de emissão de borda - que emite luz no domínio do infravermelho próximo. Os comprimentos de onda mais comumente usados ​​são 850 nm e 940 nm. A fonte de luz é geralmente uma fonte difusa (iluminação de inundação) que emite um feixe de luz com uma certa divergência (também conhecida como campo de iluminação ou FOI) para iluminar a cena na frente da câmera.
• um driver de laser que modula a intensidade da luz emitida pela fonte de luz.
• um sensor com uma matriz de pixels que coleta a luz que retorna da cena e emite valores para cada pixel.
• uma lente que focaliza a luz que retorna na matriz do sensor.
• um filtro passa-banda co-localizado com a lente que filtra a luz fora de uma largura de banda estreita em torno do comprimento de onda da fonte de luz.
• um algoritmo de processamento que converte quadros brutos de saída do sensor em imagens de profundidade ou nuvens de pontos.

Pode-se usar várias abordagens para modular a luz em uma câmera ToF. Uma abordagem simples é usar uma modulação de onda contínua - por exemplo, uma modulação de onda quadrada com ciclo de trabalho de 50%. Na prática, a forma de onda do laser raramente é uma onda quadrada perfeita e pode parecer mais próxima de uma onda senoidal. Uma forma de onda de laser quadrada produz uma melhor relação sinal-ruído para uma determinada potência óptica, mas também introduz erros de não linearidade de profundidade devido à presença de harmônicos de alta frequência.

Uma câmera CW ToF mede a diferença de tempo t _d entre o sinal emitido e o sinal de retorno, estimando o deslocamento de fase ϕ =2πft _d entre os fundamentos desses dois sinais. A profundidade pode ser estimada a partir do deslocamento de fase (ϕ) e da velocidade da luz (c) usando:

onde f _mod é a frequência de modulação.

Um circuito de geração de relógio no sensor controla os relógios de pixel complementares que controlam respectivamente o acúmulo de foto-cargas nos dois elementos de armazenamento de carga (Tap A e Tap B), bem como o sinal de modulação do laser para o driver do laser. A fase do retorno da luz modulada pode ser medida em relação à fase dos relógios de pixel (veja o lado direito da Figura 1). A carga diferencial entre o Tap A e o Tap B no pixel é proporcional à intensidade da luz modulada de retorno e à fase da luz modulada de retorno em relação ao relógio do pixel.

Usando princípios de detecção homódina, uma medição é feita com múltiplas fases relativas entre o clock do pixel e o sinal de modulação do laser. Essas medições são combinadas para determinar a fase da fundamental no sinal de luz modulado de retorno. Conhecer essa fase permite o cálculo do tempo que a luz leva para viajar da fonte de luz ao objeto sendo observado e de volta ao pixel do sensor.

Vantagens das altas frequências de modulação

Na prática, existem não idealidades, como ruído de disparo de fóton, ruído de circuito de leitura e interferência de multipercurso que pode causar erros na medição de fase. Ter uma alta frequência de modulação reduz o impacto desses erros na estimativa de profundidade.

Isso é fácil de entender, pegando um exemplo simples onde há um erro de fase ϵ _ϕ —Isto é, a fase medida pelo sensor é ϕ =ϕ + ϵ _ϕ . O erro de profundidade é então:

Portanto, o erro de profundidade é inversamente proporcional à frequência de modulação, f _mod . Isso é ilustrado graficamente na Figura 2.

clique para ver a imagem em tamanho real

Figura 2. O efeito do erro de fase na estimativa da distância. (Fonte:Dispositivos analógicos)

Essa fórmula simples explica em grande parte porque as câmeras ToF com alta frequência de modulação têm ruído de profundidade menor e erros de profundidade menores do que as câmeras ToF com frequência de modulação mais baixa.

Uma desvantagem de usar uma frequência de modulação alta é que a fase envolve mais rápido, o que significa que o intervalo que pode ser medido de forma inequívoca é mais curto. A maneira comum de contornar essa limitação é usar várias frequências de modulação que envolvem taxas diferentes. A frequência de modulação mais baixa fornece uma grande faixa sem ambigüidade, mas erros de profundidade maiores (ruído, interferência de multicaminho, etc.), enquanto frequências de modulação mais altas são usadas em conjunto para reduzir os erros de profundidade. Um exemplo desse esquema com três frequências de modulação diferentes é mostrado na Figura 3. A estimativa de profundidade final é calculada ponderando as estimativas de fase não embaladas para as diferentes frequências de modulação, com pesos mais altos sendo atribuídos às frequências de modulação mais altas.

clique para ver a imagem em tamanho real

Figura 3. Desempacotamento de fase multifrequencial. (Fonte:Dispositivos analógicos)

Se os pesos para cada frequência forem escolhidos de forma ideal, o ruído de profundidade é inversamente proporcional à raiz quadrada média (rms) das frequências de modulação escolhidas no sistema. Para um orçamento de ruído de profundidade constante, aumentar as frequências de modulação permite reduzir o tempo de integração ou a potência de iluminação.

Outros aspectos do sistema críticos para o desempenho

Existem vários recursos do sistema a serem considerados ao desenvolver uma câmera ToF de alto desempenho, alguns dos quais são abordados brevemente aqui.

Sensor de imagem

O sensor de imagem é um componente chave em uma câmera ToF. Os efeitos da maioria das não-idealidades de estimativa de profundidade (por exemplo, polarização, ruído de profundidade e artefatos de multipercurso) são reduzidos quando a frequência de modulação média do sistema aumenta. Portanto, é importante que o sensor tenha um alto contraste de demodulação (capacidade de separar fotoelétrons entre o Tap A e o Tap B) em alta frequência de modulação (centenas de MHz). O sensor também precisa ter uma alta eficiência quântica (QE) nos comprimentos de onda do infravermelho próximo (por exemplo, 850 nm e 940 nm), de modo que menos potência óptica seja necessária para gerar fotoelétrons no pixel. Finalmente, um baixo ruído de leitura ajuda com a faixa dinâmica da câmera, permitindo detectar sinais de baixo retorno (objetos distantes ou de baixa refletividade).

Iluminação

O driver do laser modula a fonte de luz (por exemplo, VCSEL) em alta frequência de modulação. Para maximizar a quantidade de sinal útil no pixel para uma dada potência óptica, a forma de onda óptica precisa ter tempos de subida e queda rápidos com bordas limpas. A combinação de laser, driver de laser e layout de PCB no subsistema de iluminação são essenciais para alcançar isso. Também é necessária alguma caracterização para encontrar a potência óptica ideal e as configurações de ciclo de trabalho para maximizar a amplitude da fundamental na transformada de Fourier da forma de onda de modulação. Finalmente, a potência óptica também precisa ser fornecida de maneira segura com alguns mecanismos de segurança integrados no driver do laser e no nível do sistema para garantir que os limites de segurança ocular da Classe 1 sejam sempre respeitados.

Óptica

A óptica desempenha um papel fundamental nas câmeras ToF. As câmeras ToF têm certas características distintas que conduzem a requisitos óticos especiais. Em primeiro lugar, o campo de iluminação da fonte de luz deve corresponder ao campo de visão da lente para uma eficiência ideal. Também é importante que a própria lente tenha uma abertura alta (f / # baixa) para melhor eficiência de coleta de luz. Grandes aberturas podem levar a outras compensações em torno de vinhetas, profundidade de campo rasa e complexidade de design de lente. Um projeto de lente de ângulo de raio principal baixo também pode ajudar a reduzir a largura de banda do filtro passa-banda, o que melhora a rejeição da luz ambiente e, portanto, melhora o desempenho ao ar livre. O subsistema óptico também deve ser otimizado para o comprimento de onda de operação desejado (por exemplo, revestimentos anti-reflexos, design de filtro passa-banda, design de lente) para maximizar a eficiência de transferência e minimizar a dispersão de luz. Existem também muitos requisitos mecânicos para garantir que o alinhamento óptico esteja dentro das tolerâncias desejadas para a aplicação final.

Gerenciamento de energia

O gerenciamento de energia também é extremamente importante em um design de módulo de câmera ToF 3D de alto desempenho. A modulação a laser e a modulação em pixels geram rajadas curtas de correntes de pico alto, o que impõe algumas restrições à solução de gerenciamento de energia. Existem alguns recursos no nível do circuito integrado do sensor (IC) que podem ajudar a reduzir o consumo de energia de pico do termovisor. Existem também técnicas de gerenciamento de energia que podem ser aplicadas no nível do sistema para ajudar a diminuir os requisitos da fonte de alimentação (por exemplo, bateria ou USB). As principais fontes analógicas para um imager ToF normalmente requerem um regulador com boa resposta transiente e baixo ruído.

clique para ver a imagem em tamanho real

Figura 4. Arquitetura do sistema óptico. (Fonte:Dispositivos analógicos)

Algoritmo de processamento de profundidade

Finalmente, outra grande parte do projeto em nível de sistema é o algoritmo de processamento de profundidade. O sensor de imagem ToF emite dados de pixel brutos dos quais as informações de fase precisam ser extraídas. Esta operação requer diferentes etapas que incluem filtragem de ruído e desempacotamento de fase. A saída do bloco de desenrolamento de fase é uma medida da distância percorrida pela luz do laser até a cena e de volta ao pixel, geralmente chamada de alcance ou distância radial.

A distância radial é geralmente convertida em informações de nuvem de pontos, que representam as informações de um determinado pixel por suas coordenadas do mundo real (X, Y, Z). Freqüentemente, os aplicativos finais usam apenas o mapa de imagem Z (mapa de profundidade) em vez da nuvem de pontos completa. Converter a distância radial em nuvem de pontos requer o conhecimento dos parâmetros intrínsecos da lente e de distorção. Esses parâmetros são estimados durante a calibração geométrica do módulo da câmera. O algoritmo de processamento de profundidade também pode produzir outras informações, como imagens de brilho ativas (amplitude do sinal de laser de retorno), imagens IR 2D passivas e níveis de confiança, que podem ser usados ​​em aplicativos finais. O processamento de profundidade pode ser feito no próprio módulo da câmera ou em um processador host em outro lugar do sistema.

Uma visão geral dos diferentes componentes de nível de sistema cobertos neste artigo é mostrada na Tabela 2. Esses tópicos serão cobertos com mais detalhes em artigos futuros.

Tabela 2. Componentes de nível de sistema das câmeras 3D de tempo de vôo
Componente de nível de sistema Principais recursos ToF ImagerResolution, alto contraste de demodulação, alta eficiência quântica, alta frequência de modulação,
baixo ruído de leituraFonte de iluminação Alta potência óptica, alta frequência de modulação,
recursos de segurança ocularOpticsHigh eficiência de coleta de luz, luz dispersa mínima, largura de banda estreitaGerenciamento de energiaBaixo ruído , boa resposta transitória,
alta eficiência, oferece alto pico de potênciaProcessamento de profundidadeBaixa potência, suporta diferentes tipos de saída
informações de profundidade

Conclusão

As câmeras de tempo de onda contínua de voo são uma solução poderosa que oferece alta precisão de profundidade para aplicações que requerem informações 3D de alta qualidade. Há muitos fatores a serem considerados para garantir que o melhor nível de desempenho seja alcançado. Fatores como frequência de modulação, contraste de demodulação, eficiência quântica e ruído de leitura ditam o desempenho no nível do sensor de imagem. Outros fatores são considerações de nível de sistema, que incluem o subsistema de iluminação, design óptico, gerenciamento de energia e algoritmos de processamento de profundidade. Todos esses componentes de nível de sistema são essenciais para obter o sistema de câmera 3D ToF da mais alta precisão. Esses tópicos de nível de sistema serão abordados com mais detalhes em artigos subsequentes. Para obter mais informações sobre as ofertas de produtos ToF da ADI, visite analog.com/tof.

---

Paul O’Sullivan é engenheiro de sistemas da Analog Devices em Santa Clara, Califórnia. Ele ingressou na Analog Devices na Irlanda em 2004, onde trabalhou em várias funções de desenvolvimento de teste e engenharia de aplicativos antes de se mudar para a Califórnia em 2016 para trabalhar em projetos de tecnologia avançada para aplicativos de consumo. Ele tem trabalhado no desenvolvimento e calibração do módulo de câmera ToF 3D desde 2019. Ele possui um B.E. licenciatura pela University College Cork e M.Eng. da University of Limerick, Irlanda. Ele pode ser contatado em [email protected]. Nicolas Le Dortz é o gerente de engenharia de sistema do Time of Flight (ToF) Technology Group da Analog Devices. Nessa função, ele supervisiona o desenvolvimento da oferta de tecnologia ToF da ADI, unindo equipes multifuncionais envolvidas no fornecimento de sistemas de câmera ToF e trazendo desempenho excepcional para os clientes da Analog Devices. Ele recebeu um M.S. em engenharia elétrica pela Ecole Polytechnique, França, em 2010, um M.S. em microeletrônica pela KTH, Suécia, em 2012, e um Ph.D. em engenharia elétrica da Ecole Centrale-Supelec, França, em 2015, e ele foi um pesquisador visitante na UC Berkeley de 2013 a 2014. Ele é apaixonado por trabalhar com clientes para criar inovação em torno de sensoriamento de profundidade reunindo disciplinas como visão computacional, processamento de sinal, design de circuito integrado, desenvolvimento de software e design óptico. Ele pode ser contatado em [email protected].

---

Conteúdos Relacionados:

• Ferramentas movem-se para cima na cadeia de valor para eliminar o mistério da IA ​​da visão
• Criação de aplicativos IoT eficazes com tinyML e aprendizado de máquina automatizado
• A tecnologia de tempo de voo promete maior precisão
• O sensor de tempo de voo quase infravermelho reduz a interferência da luz solar
• A plataforma Lidar suporta detecção de ocupação, distanciamento social
• O sensor ToF oferece detecção 3D rápida
• O sensor ultrassônico de tempo de voo oferece alcance de 1 metro

Para obter mais informações sobre o Embedded, assine o boletim informativo semanal da Embedded por e-mail.