Sistema de IA da Duke Dá aos Robôs Sensoriamento Humano para Navegação Mais Segura

Universidade Duke, Durham, NC

O Desafio da Navegação Multissensorial

A riqueza de informação fornecida por nossos sentidos que permite nosso cérebro navegar no mundo ao nosso redor é notável. Tato, olfato, audição e forte senso de equilíbrio são cruciais para atravessar o que nos parecem ambientes fáceis, como uma caminhada relaxante em manhã de fim de semana.

Uma compreensão inata do dossel acima nos ajuda a descobrir para onde o caminho leva. O estalo afiado de galhos ou almofada macia de musgo nos informa sobre estabilidade de nosso apoio. O trovão de árvore caindo ou galhos dançando em ventos fortes nos avisa de perigos potenciais próximos.

Robôs, em contraste, longamente dependeram apenas de informação visual como câmeras ou LiDAR para mover-se pelo mundo. Fora de Hollywood, navegação multissensorial permaneceu desafiadora para máquinas. A floresta, com seu belo caos de vegetação densa, troncos caídos e terreno em constante mudança, é labirinto de incerteza para robôs tradicionais.

WildFusion: Fusão Multimodal para Navegação

Agora, pesquisadores da Universidade Duke desenvolveram framework inovador chamado WildFusion que funde visão, vibração e tato para permitir robôs "sentirem" ambientes externos complexos muito como humanos fazem.

"WildFusion abre novo capítulo em navegação robótica e mapeamento 3D," disse Boyuan Chen, Professor Assistente Dickinson Family de Engenharia Mecânica e Ciência dos Materiais, Engenharia Elétrica e de Computação, e Ciência da Computação na Universidade Duke. "Ajuda robôs a operar mais confiantemente em ambientes não estruturados e imprevisíveis como florestas, zonas de desastre e terreno off-road."

"Robôs típicos dependem fortemente de visão ou LiDAR apenas, que frequentemente falham sem caminhos claros ou marcos previsíveis," adicionou Yanbaihui Liu, autor principal estudante e doutorando de segundo ano no General Robotics Lab de Chen. "Mesmo métodos avançados de mapeamento 3D lutam para reconstruir mapa contínuo quando dados de sensores são esparsos, ruidosos ou incompletos, problema frequente em ambientes externos não estruturados. Esse é exatamente o desafio que WildFusion foi projetado para resolver."

Arquitetura do Sistema

WildFusion, construído sobre robô quadrúpede, integra múltiplas modalidades sensoriais, incluindo câmera RGB, LiDAR, sensores inerciais, e notavelmente, microfones de contato e sensores táteis. Como em abordagens tradicionais, câmera e LiDAR capturam geometria, cor, distância e outros detalhes visuais do ambiente. O que torna WildFusion especial é seu uso de vibrações acústicas e tato.

Enquanto robô caminha, microfones de contato registram vibrações únicas geradas por cada passo, capturando diferenças sutis, como estalo de folhas secas versus maciez de lama. Enquanto isso, sensores táteis medem quanta força é aplicada a cada pata, ajudando robô sentir estabilidade ou escorregadio em tempo real. Estes sentidos adicionais são complementados por sensor inercial que coleta dados de aceleração para avaliar quanto robô está cambaleando, inclinando ou rolando ao atravessar terreno irregular.

Cada tipo de dado sensorial é processado através de codificadores especializados e fundido em representação única e rica. No coração do WildFusion está modelo de deep learning baseado na ideia de representações neurais implícitas. Diferente de métodos tradicionais que tratam ambiente como coleção de pontos discretos, esta abordagem modela superfícies e características complexas continuamente, permitindo robô tomar decisões mais inteligentes e intuitivas sobre onde pisar, mesmo quando visão está bloqueada ou ambígua.

"Pense como resolver quebra-cabeça onde algumas peças faltam, ainda assim você consegue imaginar intuitivamente a imagem completa," explicou Chen. "Abordagem multimodal do WildFusion permite robô 'preencher lacunas' quando dados de sensores são esparsos ou ruidosos, muito como humanos fazem."

Testes Reais e Resultados

WildFusion foi testado no Eno River State Park na Carolina do Norte perto do campus da Duke, ajudando robô navegar com sucesso florestas densas, pastagens e caminhos de cascalho. "Ver robô navegar confiantemente terreno foi incrivelmente recompensador," compartilhou Liu.

"Estes testes reais provaram capacidade notável do WildFusion de prever travessibilidade com precisão, melhorando significativamente tomada de decisão do robô em caminhos seguros através de terreno desafiador," disse Liu.

Próximos Passos

Olhando adiante, equipe planeja expandir sistema incorporando sensores adicionais, como detectores térmicos ou de umidade, para aprimorar ainda mais capacidade de robô compreender e adaptar-se a ambientes complexos. Com seu design modular flexível, WildFusion fornece vasto potencial de aplicações além de trilhas florestais, incluindo resposta a desastres em terrenos imprevisíveis, inspeção de infraestrutura remota e exploração autônoma.

"Um dos desafios-chave para robótica hoje é desenvolver sistemas que não apenas funcionem bem no laboratório, mas que funcionem confiavelmente em cenários reais," disse Chen. "Isso significa robôs que podem adaptar, tomar decisões e continuar em movimento."

Para mais informações, entre em contato com Boyuan Chen em boyuan.chen@duke.edu.