O sistema de IA da Duke University oferece aos robôs detecção semelhante à humana para uma navegação mais segura

Universidade Duke, Durham, Carolina do Norte
WildFusion usa uma combinação de visão, toque, som e equilíbrio para ajudar robôs de quatro patas a navegar melhor em terrenos difíceis, como florestas densas. (Imagem:Universidade Duke)
A riqueza de informações fornecidas pelos nossos sentidos que permitem ao nosso cérebro navegar pelo mundo que nos rodeia é notável. O tato, o olfato, a audição e um forte senso de equilíbrio são cruciais para passar por ambientes que nos parecem fáceis, como uma caminhada relaxante em uma manhã de fim de semana.

Uma compreensão inata da sobrecarga do dossel nos ajuda a descobrir aonde o caminho leva. O estalo brusco dos galhos ou a almofada macia do musgo nos informam sobre a estabilidade do nosso equilíbrio. O trovão de uma árvore caindo ou galhos dançando com ventos fortes nos informa sobre perigos potenciais nas proximidades.

Os robôs, por outro lado, há muito dependem exclusivamente de informações visuais, como câmeras ou LiDAR, para se moverem pelo mundo. Fora de Hollywood, a navegação multissensorial sempre foi um desafio para as máquinas. A floresta, com seu belo caos de vegetação rasteira densa, troncos caídos e terreno em constante mudança, é um labirinto de incertezas para os robôs tradicionais.

Agora, pesquisadores da Duke University desenvolveram uma nova estrutura chamada WildFusion que combina visão, vibração e toque para permitir que robôs “sentissem” ambientes externos complexos, assim como os humanos fazem.

“WildFusion abre um novo capítulo na navegação robótica e mapeamento 3D”, disse Boyuan Chen, professor assistente da família Dickinson de Engenharia Mecânica e Ciência de Materiais, Engenharia Elétrica e de Computação e Ciência da Computação na Duke University. “Isso ajuda os robôs a operar com mais confiança em ambientes não estruturados e imprevisíveis, como florestas, zonas de desastre e terrenos off-road.”

“Os robôs típicos dependem muito da visão ou apenas do LiDAR, que muitas vezes falham sem caminhos claros ou pontos de referência previsíveis”, acrescentou Yanbaihui Liu, autor principal do estudo e doutorando do segundo ano. estudante do Laboratório Geral de Robótica de Chen. "Mesmo os métodos avançados de mapeamento 3D têm dificuldade para reconstruir um mapa contínuo quando os dados do sensor são escassos, barulhentos ou incompletos, o que é um problema frequente em ambientes externos não estruturados. Esse é exatamente o desafio para o qual o WildFusion foi projetado para resolver."

WildFusion, construído em um robô quadrúpede, integra múltiplas modalidades de detecção, incluindo uma câmera RGB, LiDAR, sensores inerciais e, notavelmente, microfones de contato e sensores táteis. Assim como nas abordagens tradicionais, a câmera e o LiDAR capturam a geometria, a cor, a distância e outros detalhes visuais do ambiente. O que torna o WildFusion especial é o uso de vibrações acústicas e toque.

À medida que o robô caminha, microfones de contato registram as vibrações únicas geradas por cada passo, capturando diferenças sutis, como o barulho das folhas secas versus o barulho suave da lama. Enquanto isso, os sensores táteis medem quanta força é aplicada a cada pé, ajudando o robô a detectar estabilidade ou escorregadio em tempo real. Esses sentidos adicionais também são complementados pelo sensor inercial que coleta dados de aceleração para avaliar o quanto o robô está balançando, inclinando-se ou rolando ao atravessar terreno irregular.

Cada tipo de dado sensorial é então processado através de codificadores especializados e fundido em uma representação única e rica. No coração do WildFusion está um modelo de aprendizagem profunda baseado na ideia de representações neurais implícitas. Ao contrário dos métodos tradicionais que tratam o ambiente como uma coleção de pontos discretos, esta abordagem modela superfícies e características complexas continuamente, permitindo ao robô tomar decisões mais inteligentes e intuitivas sobre onde pisar, mesmo quando a sua visão está bloqueada ou ambígua.

“Pense nisso como resolver um quebra-cabeça onde faltam algumas peças, mas você é capaz de imaginar intuitivamente a imagem completa”, explicou Chen. “A abordagem multimodal do WildFusion permite que o robô ‘preencha as lacunas’ quando os dados do sensor são escassos ou barulhentos, muito parecido com o que os humanos fazem.”

O WildFusion foi testado no Eno River State Park, na Carolina do Norte, perto do campus da Duke, ajudando com sucesso um robô a navegar por florestas densas, pastagens e caminhos de cascalho. “Assistir ao robô navegar pelo terreno com confiança foi incrivelmente gratificante”, compartilhou Liu.

“Esses testes no mundo real comprovaram a notável capacidade do WildFusion de prever com precisão a capacidade de travessia, melhorando significativamente a tomada de decisões do robô em caminhos seguros em terrenos desafiadores”, disse Liu.

Olhando para o futuro, a equipa planeia expandir o sistema incorporando sensores adicionais, tais como detectores térmicos ou de humidade, para melhorar ainda mais a capacidade de um robô compreender e adaptar-se a ambientes complexos. Com seu design modular flexível, o WildFusion oferece um vasto potencial de aplicações além das trilhas florestais, incluindo resposta a desastres em terrenos imprevisíveis, inspeção de infraestrutura remota e exploração autônoma. “Um dos principais desafios da robótica hoje é desenvolver sistemas que não apenas tenham um bom desempenho no laboratório, mas que funcionem de forma confiável em ambientes do mundo real”, disse Chen. “Isso significa robôs que podem se adaptar, tomar decisões e seguir em frente.”

Para mais informações, entre em contato com Boyuan Chen em Este endereço de e-mail está protegido contra spambots. Você precisa ter o JavaScript habilitado para visualizá-lo.