IA Capacita Robôs a Identificar 90+ Objetos pelo Tato

Framework de Percepção Multimodal Reconhece Objetos Combinando Visão e Tato

Pesquisadores da UC Berkeley desenvolveram método que permite manipulador robótico aprender associações multimodais humanas. Usa observações visuais e táteis para identificar se correspondem ao mesmo objeto. Reconhece mais de 90 objetos diferentes pelo tato.

Metodologia: GelSight + CNNs

• Sensores GelSight de alta resolução (2, um em cada dedo do robô): câmera integrada com gel elastômero registra indentações criadas por contato com objetos.
• CNNs processam leituras táteis + imagem do objeto da câmera frontal RGB → identificam se entradas representam mesmo objeto.
• Reconhecimento de instância: combina leituras táteis do robô com observação visual do objeto alvo.

Treinado/testado em GPUs NVIDIA GeForce GTX 1080 e TITAN X com framework CUDA deep learning. >33.000 imagens para associação multimodal.

Resultados Surpreendentes

• Possível reconhecer instâncias de objeto apenas por leituras táteis, incluindo instâncias nunca usadas no treino.
• CNN superou voluntários humanos e métodos alternativos.

Próximos Passos

• Usar múltiplas interações táteis para imagem mais completa do objeto.
• Estender a armazéns robóticos: robôs olham imagens de produtos e recuperam sentindo objetos nas prateleiras.
• Aplicar em ambiente doméstico: recuperar objetos em locais de difícil acesso.

Referência: arXiv:1903.03591 | UC Berkeley