Robótica Guiada por Visão

Parte I

O driver por trás da digitalização é a crescente demanda por precisão, qualidade aprimorada e confiabilidade. A dinâmica do mercado compeliu a indústria manufatureira a trazer novos produtos, designs modificados para corresponder às mudanças nos sentimentos dos consumidores, personalizações e entregas mais rápidas. Os robôs são amigos da indústria manufatureira há décadas, assim como a “visão de máquina”, per se.

A robótica e a visão de máquina alcançaram estabilidade e maturidade tecnológica de forma independente. Desenvolvimentos recentes têm sido bastante complementares entre si para tornar os processos mais eficientes. Este artigo elucidará alguns insights sobre robótica guiada por visão (VGR) no segmento de manufatura. Embora o VGR seja igualmente relevante para outros tipos de robôs, como robôs móveis, humanóides, cartesianos e robôs SCARA, vamos nos concentrar nas aplicações e desafios dos robôs articulados .

Antes de nos aprofundarmos em nosso tópico central, é importante entender alguns conceitos importantes de visão de máquina e robôs industriais.

Visão de máquina pode ser definida como a atomização da visão humana. Ele precisa não apenas capturar uma imagem (a função dos nossos olhos), mas também processar essas imagens e gerar resultados (a função do cérebro). Os sistemas de visão de máquina contam com sensores digitais protegidos dentro de câmeras industriais com ótica especializada para adquirir imagens, de modo que o hardware e o software do computador possam processar, analisar e medir diversas características para a tomada de decisões.

As aplicações típicas de visão de máquina podem ser amplamente categorizadas em quatro tipos, a saber:

• Orientação
• Identificação
• Medição
• Inspeção

Embora tarefas como sistemas de identificação, medição e inspeção tenham seus próprios propósitos, onde os robôs agregam valor ao aplicativo, nosso foco neste artigo é a orientação do robô . Os sistemas de visão de máquina (MV) podem localizar uma peça e garantir que ela seja colocada corretamente em uma montagem específica. Os sistemas MV também podem ajudar a identificar a localização de um componente no espaço 2D ou 3D e ajudar os robôs a rastrear com precisão as coordenadas desse componente. Os sistemas MV reduzem a complexidade de ter equipamentos necessários para esta finalidade. Para entender isso, precisamos primeiro analisar como um robô se posiciona para localizar o componente.

Um sistema de coordenadas do robô é composto por diferentes quadros de referências. Os principais sistemas de coordenadas usados ​​para descrever o movimento de um robô são mostrados abaixo na Figura 1.1 . O controle da garra ou da ferramenta é o mais importante e sua posição é alcançada através de movimentos coordenados de um ou de todos os eixos do robô. Como diferentes tipos de garras e ferramentas têm dimensões diferentes, um ponto especial chamado ponto central da ferramenta (TCP) é selecionado, independentemente do tipo de ferramenta. Este ponto é o ponto de origem do sistema de coordenadas da ferramenta. Um ponto semelhante pode ser usado para descrever a garra ou o sistema de coordenadas do pulso. As conexões mútuas de uma ferramenta, um pulso e outros sistemas de coordenadas são mostradas na Figura 1.2 .



Figura 1.1



Figura 1.2

Imagens:ABB Robotics



O TCP tem relação com a coordenada de pulso, coordenada de base, coordenada mundial e os sistemas de coordenadas do objeto. Idealmente, espera-se que as coordenadas do objeto correspondam com precisão com as coordenadas definidas do TCP - o que significa que o ponto de origem do objeto é ensinado ao robô via programação e as coordenadas do TCP são registradas. Portanto, para obter precisão repetida, o robô e o objeto devem chegar sempre ao mesmo ponto.

O posicionamento do robô é governado por servomecanismos e, portanto, é bastante preciso. No caso de componentes com localização fixa, sua precisão de posicionamento depende de vários fatores, como tolerâncias de usinagem, tolerâncias de fixação de localização e precisão e repetibilidade de posicionamento da mesa indexadora. Portanto, o TCP do robô pode não corresponder às coordenadas reais do objeto devido ao deslocamento entre suas coordenadas desejadas e reais, e haverá um erro de posicionamento. Se espera-se que o robô pegue o objeto ou execute qualquer operação nele enquanto o objeto vem posicionado aleatoriamente sobre um transportador, então determinar sua origem se torna quase impossível se não houver um sistema como a visão de máquina para guiá-lo.

Se implantados, os sistemas de visão de máquina podem identificar as coordenadas em tempo real do objeto e alimentá-las ao robô, que compensa o deslocamento no TCP. Assim, a precisão de posicionamento da ferramenta é garantida. Este método é usado principalmente para aplicações como soldagem e distribuição de cola, para componentes de fixação e para "pick and place" robótico de objetos distribuídos aleatoriamente em um transportador em movimento. Os exemplos acima são válidos para objetos com imprecisões de posicionamento ao longo do plano 2D, portanto, um sistema de visão de máquina 2D seria usado.



"pick and place" robótico de alta velocidade de objetos usando orientação de visão 2D. Imagem:Cognex Corporation



Para aplicações como coleta de lixo robótica, onde se espera que o robô pegue objetos mantidos aleatoriamente em uma caixa, a análise espacial 3D se torna necessária. Aqui, não apenas as coordenadas X, Y e Z são importantes, mas os ângulos de orientação ao longo dos três eixos são cruciais para o robô identificar o objeto mais fácil de escolher sem colisões. É óbvio que os sistemas de visão de máquina 3D são implantados nesta configuração.

O sistema de visão de máquina 3D mais popular é uma configuração usando visão estéreo com duas câmeras fornecendo coordenadas e o mapa de altura. A tarefa crucial aqui é a calibração da câmera e o algoritmo de visão de máquina que combinará imagens de ambas as câmeras e criará uma imagem 3D. Uma imagem da caixa é analisada para derivar as coordenadas TCP do componente mais fácil de escolher. Algumas outras técnicas 3D são triangulação a laser e tempo de voo.

Recolha robótica de caixas usando orientação de visão 3D. Imagem:Robótica Yaskawa

Parte II

Aquisição de imagens

Uma imagem de boa qualidade é a chave para um VGR bem-sucedido. Os três componentes principais aqui são a câmera, a ótica e a iluminação.

Câmera: Há algumas coisas importantes a serem consideradas durante a seleção de câmeras para aplicações robóticas. Embora as câmeras comerciais do mercado possam adquirir imagens, os ambientes industriais onde esses sistemas são implantados podem ser realmente desafiadores. Aqui, as câmeras são expostas a ambientes hostis e espera-se que forneçam imagens consistentes de boa qualidade todas as vezes por centenas de milhares de ciclos. Acrescente a isso os choques e vibrações incorridos devido aos movimentos do robô e às vibrações gerais do equipamento.

As interfaces de comunicação precisam ser robustas, suportando essas condições difíceis para que não haja interrupções nas comunicações durante a operação. Os protocolos baseados em Ethernet oferecem boa confiabilidade e comprimentos de cabo mais longos necessários para esta aplicação . A conformidade com a proteção de ingresso torna-se crucial, especialmente se o sistema for implantado em um ambiente empoeirado. PoE é uma fonte de energia preferível para evitar vários cabos. Os cabos da câmera são submetidos a muitas dobras cíclicas através de bandejas de cabos e chicotes no braço do robô, portanto cabos compatíveis com correntes de arrasto devem ser usados.

Imagem:Baumer

Imagem:Pickit 3D

A resolução da câmera deve ser calculada considerando o campo de visão geral (FOV) e a precisão de posicionamento desejada.

Óptica: A óptica adequada dependendo do FOV, da distância de trabalho (WD) e do tamanho do sensor da câmera deve ser selecionada. Os dois fatores mais importantes a serem considerados são:

1. A distorção do barril deve ser mantida no mínimo possível e
2. A robustez da lente, pois está sujeita à mesma quantidade de choques e vibrações que a câmera; configurações cruciais da lente, como a íris e o foco, podem ser afetadas se não forem tratadas

Iluminação: A iluminação do objeto desempenha um papel crucial no VGR. A iluminação deve ser tal que destaque o recurso a ser inspecionado no componente. O componente ou o contorno programado deve ser identificado com precisão dentro da precisão desejada do sistema. Portanto, com base no objeto e no contorno, a iluminação adequada deve ser selecionada. Enquanto as aplicações de coleta de componentes ou soldagem/dispensação de cola exigem principalmente luzes de barra difusas simples, as aplicações robóticas de coleta de lixo usando câmeras estéreo geralmente usam luzes de padrão estruturadas projetadas no componente para reunir contornos e derivar perfis.

Iluminação estruturada usada na seleção de lixeiras 3D. Imagem:Solomon 3D

Desafios em robótica com visão de máquina

Em uma aplicação padrão de visão de máquina robótica 2D, existem vários desafios que precisam ser abordados:

• Distorções
• Calibração de coordenadas
• Calibração Z
• Alinhamento de coordenadas

Distorções: Existem dois tipos principais de distorções que ocorrem e precisam ser corrigidas antes que o sistema de visão esteja pronto para o VGR.

• Distorções da lente: As lentes (principalmente as grande angulares) causam distorções na imagem adquirida. Isso é conhecido como “distorção de barril”.
  

Distorção de barril. Imagem:Baumer

• Distorções causadas pela montagem inclinada da câmera
  Imagem:Baumer

Robôs precisam de autorização para operar, então as câmeras geralmente precisam ser montadas em uma posição inclinada, o que causa distorção na imagem adquirida.

Ambos os tipos de distorções precisam de correção e calibração para que as coordenadas adquiridas sejam precisas.

Calibração de coordenadas: Os robôs trabalham em sistemas de coordenadas definidos em unidades como milímetros ou polegadas, enquanto as câmeras trabalham em contagens de pixels. Portanto, é necessário calibrar a câmera para que o sistema entenda a correlação entre os pixels e as unidades dos sistemas de coordenadas.

Imagem:Baumer

É importante que a medição ocorra sempre na mesma distância de trabalho (distância entre a câmera e o objeto). Como os robôs trabalham em 3D, "agarrar" também requer uma especificação "Z" .

Calibração Z: A calibração Z é usada para calcular as coordenadas X e Y se o eixo Z variar dentro da profundidade de campo* da lente. A câmera é calibrada usando um procedimento específico com a placa de calibração (discutido mais adiante).

Alinhamento de coordenadas: O robô e o sistema de visão têm seus próprios sistemas de coordenadas. Seus desvios são:

Para superar este problema, a calibração é realizada. O robô conhece sua própria posição e também a posição do TCP, enquanto o sistema de visão é calibrado em uma placa de calibração. O robô calcula os deslocamentos , e o alinhamento é realizado.

Esta é uma etapa muito importante. O robô deve seguir o caminho que começa a partir do ponto de origem definido pelo sistema de visão. Se não for executada corretamente, a calibração incorreta pode causar sérios desvios de caminho e resultar em em colisões.

Placa de calibração: A calibração do sistema de visão é realizada usando uma placa de calibração padrão que possui marcações com dimensões precisas. Figura 2.1 mostra alguns exemplos de placas de calibração.



Figura 2.1



Correção de distorção de lente e montagem usando placa de calibração: A placa de calibração é colocada a uma certa distância abaixo da câmera e a imagem é adquirida, conforme mostrado na Figura 2.2 .



Figura 2.2:posicionamento da câmera

Imagem:Baumer



Uma vez que a calibração da distorção é realizada, a imagem parece alinhada. Isso é mostrado abaixo na Figura 2.3 .



Figura 2.3



Coordena a calibração usando a placa de calibração: As linhas de grade ou marcações na placa de calibração estão relacionadas ao número de pixels cobertos pela câmera. É importante posicionar o ponteiro de localização com precisão na placa de calibração.



Os ponteiros são colocados nos pontos/cantos do prato. As distâncias entre esses pontos são conhecidas e são então inseridas nos campos de parametrização de calibração do software. O sistema de visão então calcula o número de pixels consumidos para medir essa distância. Essa configuração é válida enquanto a distância de trabalho, o FOV e as montagens da câmera forem mantidas. O sistema precisa ser recalibrado se alguma das três coisas mudar.

Tendências e avanços

VGR não é uma tecnologia nova. Ele já se desenvolveu e se tornou um aplicativo bastante maduro. Quase todos os fabricantes de robôs agora oferecem soluções integradas para VGR. No entanto, os avanços mais recentes em tecnologias de câmeras (como câmeras de alta velocidade, câmeras de tempo de voo 3D e câmeras estéreo integradas) e em tecnologias de software (como inteligência artificial e aprendizado de máquina) adicionaram essa peça extra de confiabilidade e robustez a toda a aplicação.

Redes neurais profundas são implantadas para ensinar e reensinar diferentes possibilidades de posicionamento e orientação de componentes ao longo de todos os planos. As muitas possibilidades a serem aprendidas podem prolongar o tempo de treinamento das redes, mas os dispositivos de computação mais recentes (como GPU) tornam as tarefas menos demoradas. Plataformas baseadas em nuvem para aprendizado de máquina também estão sendo implantadas.

Conclusão

O VGR está ganhando popularidade rapidamente em todos os domínios da indústria. O aplicativo, que antes era amplamente impulsionado pelo segmento automotivo, agora encontra outros compradores, como alimentos e produtos farmacêuticos, para coleta e colocação robótica de alta velocidade, paletização e despaletização, engenharia pesada para rastreamento de costura de robô de soldagem, distribuição de cola e assim por diante. É necessário estabelecer padrões para garantir a intercompatibilidade entre os fabricantes de sistemas de visão e construtores de robôs. À medida que o mundo olha para o “novo normal” na fabricação, o VGR definitivamente tem um papel importante a desempenhar.