Inteligência Artificial Ajuda o Robô a Reconhecer Objetos pelo Toque

• A nova estrutura de percepção baseada em aprendizado de máquina pode reconhecer mais de 90 objetos diferentes pelo toque.
• Ele usa observações visuais e táteis para identificar se essas observações correspondem ao mesmo objeto.

Os humanos são bons em associar a aparência e as propriedades materiais dos objetos em várias modalidades. Quando vemos uma tesoura, podemos imaginar o que nossos dedos sentiriam ao tocar a superfície de metal, podemos imaginá-la em nossa mente - não apenas sua identificação, mas também seu tamanho, forma e proporções.

A percepção dos robôs, por outro lado, não é inerentemente multimodal. Embora os robôs existentes equipados com câmeras avançadas sejam capazes de distinguir entre dois objetos diferentes, a visão por si só pode ser inadequada, especialmente na presença de oclusão e condições de pouca luz.

Agora, pesquisadores da Universidade da Califórnia em Berkeley desenvolveram um método que permite ao manipulador robótico aprender associações multimodais semelhantes às humanas. Ele usa observações visuais e táteis para descobrir se essas observações correspondem ou não ao mesmo objeto.

O que exatamente eles fizeram?

A equipe de pesquisa empregou um sensor de toque de alta resolução por meio de dois sensores GelSight (fixados no dedo do robô) e redes neurais convolucionais (CNNs) para associação multimodal.

Esses sensores geram leituras por meio de uma câmera integrada a um gel de elastômero, que registra indentações no gel criadas pelo contato com objetos. Essas leituras são então fornecidas aos CNNs para processamento de dados.

Os pesquisadores treinaram essas CNNs para obter leituras táteis de sensores e imagens de objetos de uma câmera e identificar se essas entradas representam o mesmo objeto ou não. Para realizar o reconhecimento de instância, eles combinaram as leituras táteis do robô com a observação visual do objeto de consulta.

Referência:arXiv:1903.03591 | UC Berkeley

Eles usaram GPUs NVIDIA GeForce GTX 1080 e TITAN X com estrutura de aprendizado profundo CUDA para treinar e testar a CNN para associação multimodal em mais de 33.000 imagens.

Robô (à esquerda) que consiste em dois sensores táteis GelSight (um em cada dedo) e uma câmera RGB frontal | Exemplos de observações táteis (meio) e imagens de objetos (direita) correspondendo a um único objeto | Cortesia de pesquisadores

Os resultados demonstram que é possível reconhecer instâncias de objetos apenas por leituras táteis, incluindo instâncias que nunca foram usadas no treinamento. Na verdade, a CNN superou alguns voluntários humanos e métodos alternativos.

O que vem a seguir?

Até agora, os pesquisadores consideraram apenas as preensões individuais. No próximo estudo, eles usarão várias interações táteis para obter uma imagem mais completa do objeto de consulta.

Leia:15 tipos diferentes de robôs | Explicado

A equipe também planeja estender seu sistema a depósitos robóticos, onde os robôs olham as imagens dos produtos e as recuperam apalpando os objetos nas prateleiras. Este novo método pode ser aplicado a robôs em um ambiente doméstico para fazê-los recuperar objetos de locais de difícil acesso.