SonicSense: Permitindo Robôs Ouvir Como Humanos para Interação Mais Inteligente

Nova pesquisa da Universidade Duke detalha um sistema chamado SonicSense que permite robôs interagirem com seu ambiente de formas anteriormente limitadas a humanos.

"Robôs hoje dependem principalmente de visão para interpretar o mundo", explicou o Autor Principal Jiaxun Liu, estudante de Ph.D. do primeiro ano no laboratório de Boyuan Chen, Professor de Engenharia Mecânica e Ciência dos Materiais na Duke. "Queríamos criar uma solução que pudesse trabalhar com objetos complexos e diversos encontrados no dia a dia, dando aos robôs uma capacidade muito mais rica de 'sentir' e entender o mundo."

SonicSense apresenta uma mão robótica com quatro dedos, cada um equipado com um microfone de contato embutido na ponta do dedo. Estes sensores detectam e registram vibrações geradas quando o robô toca, agarra ou sacode um objeto. E como os microfones estão em contato com o objeto, permite ao robô sintonizar ruídos ambientes.

Baseado nas interações e sinais detectados, SonicSense extrai características de frequência e usa seu conhecimento prévio, emparelhado com avanços recentes em IA, para descobrir de que material o objeto é feito e sua forma 3D. Se é um objeto que o sistema nunca viu antes, pode levar 20 interações diferentes para o sistema chegar a uma conclusão. Mas se é um objeto já em seu banco de dados, pode identificá-lo corretamente em apenas quatro.

Aqui está uma entrevista exclusiva da Tech Briefs, editada para extensão e clareza, com Chen.

Tech Briefs: Qual foi o maior desafio técnico que você enfrentou ao desenvolver SonicSense?

Chen: Acho que o primeiro é que realmente não houve estudos extensivos sobre uso de vibrações acústicas para percepção robótica. A maior parte do trabalho anterior foi com um único dedo ou foi muito preliminar. Mas, colocar isso em uma mão robótica real e ser capaz de interagir com uma variedade de objetos possíveis não é uma tarefa fácil.

Tech Briefs: Como este projeto surgiu? Qual foi o catalisador para seu trabalho?

Chen: Esta é uma história muito interessante. A primeira parte do meu trabalho foi chamada boombox, isso foi durante COVID. Eu estava pensando que quero trabalhar em robôs e visão. Então, já estava interessado alguns anos atrás, em trazer vibrações acústicas para sensoriamento, porque usamos vibrações de som acústico muito.

Em neurociência, pele humana tem neurônios de vibração. Então, li sobre estas coisas e estava pensando em como podemos trazer isso para robôs. Mas, durante COVID, não tinha acesso a robôs. Fiz meu Ph.D. em Columbia, então morava em um pequeno dormitório em Nova York, mas realmente queria fazer esta pesquisa. Tive uma ideia aleatória um dia, 'O que posso fazer sem robôs para mostrar que isso é útil?'

Tinha uma caixa de brinquedos no meu quarto. Jogando objetos aleatoriamente lá dentro, percebi, 'Ei, tenho que ir recuperar este objeto, mas não sei onde está. Que objeto joguei?' Essa era uma pergunta de pesquisa perfeita.

Comecei com três caixas de madeira diferentes com formas diferentes, e as joguei na caixa. Treinei um sistema de IA que previu a forma do objeto que joguei e onde o objeto terminou depois que joguei porque não podia ver. Então este foi o projeto.

A ideia era basicamente você tem quatro microfones de contato. Você os prende ao redor da parede da caixa. Você apenas grava vibrações acústicas dos quatro canais de microfones. Usei microfones que são usados para captar som de uma guitarra. Colei eles na caixa, e treinei um sistema indo do som para a previsão desta operação 3D. E esse foi o começo daquele projeto.

Então, claro, eu queria fazer isso para robôs. Isso foi praticamente o local de nascimento do SonicSense.

Tech Briefs: Pode explicar em termos simples como funciona?

Chen: É um sistema integrado de hardware e software. A parte de hardware tem uma garra robótica com quatro dedos, e cada uma das pontas dos dedos tem um microfone de contato embutido. Este microfone de contato não sente o que estamos dizendo, mas sente as vibrações de contato físico.

O lado de software basicamente permite ao robô explorar autonomamente ambientes através de simples toque ou agarrar um objeto com um recipiente e sacudi-lo. O software coletará os sinais dos quatro microfones de contato e sinais do motor juntos.

Treinamos uma rede de inteligência artificial para prever coisas como 'Quantos dados você tem em um recipiente? Quantas arestas este dado tem? Quanto líquido você tem nesta garrafa de água? Quanto você está derramando em outro recipiente?'

Tech Briefs: Quais são seus próximos passos?

Chen: Estamos olhando para algumas novas ideias em termos de, primeiro, quais outras modalidades de sensoriamento são necessárias para nós alcançarmos destreza de manipulação de nível humano. Mas, ainda mais para conteúdo mais amplo para robótica, não apenas para manipulação. Mas também para locomoção, navegação e tudo. Há outras modalidades de sensoriamento que precisamos? Então, explorar modalidades novas que podem permitir robôs ou capacitar robôs a ter capacidades que mesmo humanos ou animais não têm, é uma direção.

Outra direção que estamos olhando é, outras modalidades que já temos em robôs. Por exemplo, visão — e como fundimos todas as modalidades juntas para ter uma compreensão coerente do mundo em vez de apenas uma perspectiva? Então, fazer muitas modalidades de sensoriamento se unirem e aprenderem uma compreensão unificada.

Uma terceira direção que estamos olhando é trazer isso para os verdadeiros vetores humanos de capacidade de manipulação — o design atual é muito protótipo. Queremos fazer isso escalando tanto a morfologia quanto a capacidade de sensoriamento da mão para estar em uma escala muito maior. Isso significa colocar muitos sensores em uma mão muito mais parecida com humana, e realmente mostrar capacidade de manipulação destreira. Agora, estamos apenas fazendo percepção de objeto, mas queremos ser capazes de manipular objetos com capacidades muito mais avançadas.