Como a Tecnologia de Visão 3D Revoluciona a Automação Moderna

A visão 3D está no coração da automação moderna que melhora processos industriais de inúmeras maneiras e torna nossas vidas mais fáceis. Ela nos ajuda a classificar produtos, inspecionar objetos em aplicações de controle de qualidade e encontrar defeitos neles, e também completar as tarefas mais variadas mais rápido e com mais eficiência do que humanos jamais poderiam. Robôs guiados por visão são comumente usados para realizar tarefas perigosas e manusear objetos pesados, então eles também aumentam a segurança e eliminam o risco de lesões.

Tecnologias de sensoriamento 3D percorreram um longo caminho para entregar todos esses benefícios que desfrutamos hoje — e ainda avançam. Da primeira fotografia à imagem digital, de 2D para 3D, e da digitalização 3D de objetos estáticos à captura de cenas dinâmicas. O que vem a seguir?

Junto com Tomas Kovacovsky, cofundador e CTO do Grupo Photoneo, examinamos a história da visão 3D de máquina até os avanços mais recentes que dominam as tendências atuais, como a Indústria 4.0. Vamos dar uma breve olhada.

Fotografia e as primeiras tecnologias para captura de imagem

Desde os primórdios da fotografia, as pessoas ficaram fascinadas com a possibilidade de capturar e registrar eventos. A primeira foto conhecida foi tirada em algum lugar entre 1826 e 1827 pelo inventor francês Joseph Nicéphore Niépce. Embora seu processo fotográfico exigisse pelo menos oito horas, senão vários dias de exposição na câmera, seu associado Louis Daguerre desenvolveu o primeiro processo fotográfico anunciado publicamente (conhecido como Daguerreotype) que levava apenas minutos de exposição. A invenção foi introduzida ao público em 1839 — ano geralmente considerado o nascimento da fotografia prática.

Por muito tempo, a fotografia serviu apenas como meio para registrar eventos. Como o processamento da imagem levava bastante tempo, a tecnologia analógica não era ideal para ser usada em visão de máquina ou tarefas de tomada de decisão.

Em 1969, William Boyle e George E. Smith dos Laboratórios Bell Americanos inventaram o sensor CCD (dispositivo de carga acoplada) para gravação de imagens, um marco importante no desenvolvimento de imagem digital. Um sensor CCD captura imagens convertendo fótons em elétrons — ou seja, pega a luz e a traduz em dados digitais. Embora CCDs não pudessem competir com filme padrão para captura de imagem naquela época, começaram a ser usados para certas aplicações e a bola começou a rolar.

De 2D para 3D

O sensoriamento 2D lançou a era da automação e foi a abordagem prevalente na automação do setor industrial por muito tempo. Visão 2D é usada em algumas aplicações simples até hoje, incluindo:

• Reconhecimento óptico de caracteres (OCR) — leitura de textos digitados, manuscritos ou impressos; leitura de código de barras
• Controle de qualidade — frequentemente usado em combinação com iluminação especial para garantir que as qualidades ópticas do objeto escaneado permaneçam as mesmas
• Contagem
• Coleta de itens sob condições bem definidas

No entanto, a principal limitação das tecnologias 2D é que elas não podem reconhecer formas de objetos ou medir distância na dimensão Z.

Aplicações 2D requerem boas condições bem definidas com iluminação adicional, o que também limita aplicações como bin picking. Esta tarefa robótica pode ser feita com um sistema de visão 2D, mas é geralmente problemática devido à posição aleatória de objetos em um recipiente e uma grande quantidade de informações na cena que sistemas de visão 2D não conseguem lidar.

As pessoas reconheceram a necessidade de informações 3D para poder automatizar tarefas mais complexas. Entenderam que humanos podiam ver seu entorno em uma visão 3D e dizer a distância de objetos porque tinham dois olhos — visão estereoscópica.

Nos anos 1960, Larry Roberts, aceito como o Pai da Visão Computacional, descreveu como derivar informações geométricas 3D de fotografias 2D de desenhos de linha e como um computador poderia criar um modelo 3D a partir de uma única fotografia 2D.

Nos anos 1970, um curso de "Visão de Máquina" começou no Laboratório de Inteligência Artificial do MIT para enfrentar tarefas de visão de máquina de baixo nível. Aqui, David Marr desenvolveu uma abordagem única para compreensão de cena através de visão computacional, onde tratou a visão como um sistema de processamento de informação. Sua abordagem começou com um esboço 2D, que foi construído pelo computador para obter uma imagem 3D final.

A pesquisa em visão de máquina intensificou-se nos anos 1980 e trouxe novas teorias e conceitos. Isso deu origem a várias tecnologias distintas de visão 3D de máquina, que foram gradualmente adotadas em ambientes industriais e de manufatura para automatizar a mais ampla gama de processos.

Primeiras tecnologias de visão 3D

O esforço para imitar a visão estereoscópica humana resultou no desenvolvimento de uma das primeiras tecnologias de sensoriamento 3D — estéreo passivo. Este método de triangulação observa uma cena de dois pontos de vantagem e calcula o triângulo câmera — objeto escaneado — câmera, procurando correlações entre as duas imagens. Baseado na disparidade entre as imagens, calcula a distância (profundidade) do objeto escaneado. No entanto, esta abordagem depende de encontrar detalhes idênticos nas imagens, então não funciona bem com paredes brancas ou cenas sem padrões. A confiabilidade do estéreo passivo é pequena e a saída 3D geralmente tem alto ruído e exige muito poder computacional.

Para compensar essa desvantagem, pesquisadores começaram a experimentar projetar padrões de luz na cena para criar uma textura artificial na superfície e identificar correspondências na cena mais facilmente. Este método é chamado estéreo ativo. Embora este método seja mais confiável que o estéreo passivo, a qualidade de reconstrução é frequentemente comprometida por requisitos rigorosos de tempo de processamento, o que o torna insuficiente para muitas aplicações.

Um dos métodos mais antigos e ainda muito populares para adquirir informação 3D é a profilometria a laser. Esta técnica projeta uma banda estreita de luz (ou um ponto) em uma superfície 3D, produzindo uma linha de iluminação que aparece distorcida de um ângulo diferente do do projetor. Este desvio codifica informação de profundidade. Scanners de linha capturam um perfil de profundidade por vez em sucessão rápida, para o qual exigem que o objeto escaneado ou a câmera se movam constantemente. A profilometria a laser foi um dos primeiros métodos de digitalização 3D adotados para uso industrial e ainda é muito popular em aplicações metrológicas, por exemplo.

Outro método inventado projetando padrões de luz estruturada em uma cena é a luz estruturada. Um dos trabalhos mais citados discutindo o uso de luz estruturada com códigos binários para restauração digital foi O Projeto Michelangelo Digital liderado por Marc Levoy e sua equipe na Universidade Stanford. O projeto começou em 1998 para digitalizar as estátuas de Michelangelo usando um projetor e um sensor de câmera. Os dados de escaneamento a laser do David de Michelangelo foram então usados para a restauração da estátua que começou em 2002. Embora o método usado neste projeto não fosse rápido o suficiente para ser usado em aplicações em tempo real, forneceu precisão muito alta necessária para a digitalização de vários artefatos e objetos. Graças a isso, a tecnologia encontrou seu nicho em aplicações metrológicas e outras tarefas robóticas e de visão de máquina que exigem alta precisão de escaneamento.

Gradualmente, a tecnologia de luz estruturada expandiu-se além da metrologia e penetrou todos os tipos de aplicações online usando robôs guiados por visão. A vantagem de scanners 3D de luz estruturada é que eles não requerem movimento. Como podem fazer um instantâneo de toda a área de escaneamento e não se precisa contornar todo o objeto com o scanner, são mais rápidos que dispositivos baseados em profilometria a laser e não exigem tanto pós-processamento de dados.

De cenas estáticas para dinâmicas

A captura de movimento é muito mais desafiadora do que a digitalização 3D de cenas estáticas e desqualifica métodos que exigem tempos de aquisição mais longos.

Como o estéreo passivo é um método passivo que não usa iluminação adicional, poderia ser usado para capturar cenas dinâmicas, mas apenas se certas condições fossem atendidas. Ainda assim, os resultados não seriam bons.

A profilometria a laser não é um método muito mais bem-sucedido que o estéreo passivo a este respeito. Como captura um perfil por vez, para fazer um instantâneo completo da cena, a câmera ou a cena precisam se mover. No entanto, a tecnologia não pode capturar um evento dinâmico. Para reconstruir a profundidade para um único perfil, requer a captura de uma imagem de área estreita, cujo tamanho limita a taxa de quadros e consequentemente também a velocidade de escaneamento.

Sistemas de luz estruturada, por outro lado, projetam múltiplos padrões de luz na cena em sequência, um após o outro. Para isso, a cena precisa ser estática. Se o objeto escaneado ou a câmera se moverem, o código é quebrado e a nuvem de pontos 3D será distorcida.

A necessidade de fazer uma reconstrução 3D de objetos dinâmicos levou ao desenvolvimento de sistemas Time-of-Flight (ToF). Semelhante à tecnologia de luz estruturada, ToF é um método ativo que envia sinais de luz para a cena e então interpreta os sinais com a câmera e seu software. Em contraste com a luz estruturada, ToF estrutura a luz no tempo e não no espaço. Funciona no princípio de medir o tempo durante o qual um sinal de luz emitido da fonte de luz atinge o objeto escaneado e retorna ao sensor.

Os primeiros sistemas ToF tinham qualidade bastante baixa. Grandes players neste campo incluíam empresas como Canesta, 3DV Systems, ou Microsoft (que mais tarde adquiriu ambas). Um dos primeiros projetos conhecidos foi o ZCam — uma câmera Time-of-Flight desenvolvida pela 3DV e posteriormente comprada pela Microsoft para ser usada na aquisição de informação 3D e interação com objetos virtuais no console de videogame Xbox da Microsoft.

Em 2010, a Microsoft lançou seu sistema de sensor Kinect para Xbox, uma câmera de detecção de movimento baseada na tecnologia PrimeSense. A tecnologia PrimeSense usava um padrão estruturado para codificar certos pixels (não todos) e obter informação 3D. Embora o método não pudesse fornecer alta resolução e contornos detalhados nas bordas dos objetos escaneados, foi amplamente adotado pois sua velocidade de processamento era bastante rápida e a tecnologia também era muito acessível. Foi usado principalmente no campo acadêmico, mas pode raramente ser encontrado em ambiente industrial para coleta robótica e outras tarefas.

Em contraste com Kinect 1, Kinect 2 era baseado na tecnologia ToF. Avanços no ToF fizeram com que o método se tornasse cada vez mais popular e amplamente adotado — podia fornecer qualidade superior à tecnologia PrimeSense, ainda que a resolução dos escaneamentos 3D de cenas dinâmicas ainda não fosse suficiente.

Sistemas ToF de hoje são bastante populares em aplicações de visão 3D graças à sua velocidade de escaneamento rápida e aquisição quase em tempo real. No entanto, sua resolução ainda é um problema e também lutam com níveis de ruído mais altos.

Em 2013, a Photoneo apresentou uma ideia revolucionária de como capturar objetos em movimento rápido para obter informação 3D em alta resolução e precisão submilimétrica.

A tecnologia patenteada de Parallel Structured Light baseia-se em um sensor CMOS proprietário especial com um obturador multi-toque com padrão de pixel em mosaico, que muda fundamentalmente a forma como uma imagem pode ser tirada.

Esta nova abordagem de instantâneo utiliza luz estruturada, mas troca o papel da câmera e do projetor: Enquanto sistemas de luz estruturada emitem múltiplos padrões do projetor em sequência, a tecnologia Parallel Structured Light envia uma varredura a laser muito simples, sem padronização, através da cena e constrói os padrões do outro lado — no sensor CMOS. Tudo isso acontece em uma única instância de tempo e permite a construção de múltiplas imagens virtuais dentro de uma única janela de exposição. O resultado é uma imagem 3D de alta resolução e alta precisão de cenas em movimento sem artefatos de movimento.

Uma cena dinâmica capturada pela tecnologia Parallel Structured Light.

A tecnologia Parallel Structured Light é implementada na câmera 3D MotionCam-3D da Photoneo. O desenvolvimento da câmera e seu lançamento no mercado marcaram um marco na história da visão de máquina, pois redefiniu a robótica guiada por visão e expandiu as possibilidades de automação a um grau sem precedentes. A nova abordagem foi reconhecida com vários prêmios, incluindo Vision Award 2018, Vision Systems Design Innovators Platinum Award 2019, inVision Top Innovations 2019, IERA Award 2020, Robotics Business Review's RBR50 Robotics Innovation Awards 2021, inVision Top Innovations 2021, e SupplyTech Breakthrough Award 2022.

Digitalização 3D em movimento e cor

Em 2022, a Photoneo estendeu as capacidades do MotionCam-3D equipando-o com uma unidade de cor para captura de dados de cor. MotionCam-3D Color é considerado a próxima bala de prata na visão de máquina, pois finalmente permite criação em tempo real de nuvem de pontos 3D colorida de cenas em movimento em qualidade perfeita. Graças à combinação única de geometria 3D, movimento e cor, a câmera abre as portas para aplicações de IA exigentes e tarefas robóticas que não apenas dependem de informação de profundidade, mas também de dados de cor.

Criação em tempo real de nuvem de pontos 3D colorida de uma cena em movimento usando MotionCam-3D Color.

Áreas de aplicação habilitadas por inovações em visão de máquina

As possibilidades oferecidas pelas últimas inovações em visão 3D de máquina nos permitem automatizar tarefas que eram inviáveis até recentemente. Estas aplicações podem ser encontradas em manufatura, logística, automotivo, varejo, agricultura, medicina e outros setores e incluem:

• Manipulação robótica de objetos em movimento constante ou aleatório
• Coleta de esteiras transportadoras e transportadores aéreos
• Manipulação mão-olho
• Criação de modelos 3D para inspeção e controle de qualidade
• Limpeza e pintura de objetos grandes
• Operações de manutenção em VR/AR
• Classificação e colheita na agricultura
• E muitos mais

O que vem a seguir?

A visão de máquina continua a se desenvolver para trazer novos avanços com novas possibilidades. A direção das inovações é sempre influenciada por demandas do mercado, expectativas dos clientes, competição e outros fatores.

Podemos esperar que a tendência de implantar IA em todas as áreas de visão de máquina definitivamente continuará com o objetivo de eliminar o desenvolvimento de algoritmos personalizados. Vemos um enorme potencial na área de inteligência artificial (IA) e sua combinação com a tecnologia Parallel Structured Light. Por um lado, IA depende de bons dados. Por outro, a nova tecnologia de visão de máquina pode fornecer uma grande quantidade de dados 3D reais de alta qualidade. Combinar essas duas abordagens pode transformar a robótica inteligente e permitir uma nova esfera de possibilidades.

Outra direção promissora de desenvolvimentos futuros é edge computing. Fabricantes provavelmente continuarão seus esforços para integrar IA diretamente em sensores e especializá-los para um propósito definido (ex: contagem de pessoas, dimensionamento, ou detecção automatizada de características de objetos definidos), tornando a implantação mais fácil para integradores e minimizando a necessidade de componentes adicionais. Novas soluções de hardware capazes de capturar cenas em movimento combinadas com algoritmos avançados de IA estenderão os campos de aplicação cada vez mais amplos, mesmo em áreas mais desafiadoras como robótica colaborativa ou automação logística completa.