IA Navega Autonomamente Sem Mapas Usando Bússola, Câmera e GPS

Desenvolver máquinas inteligentes que interagem inteligentemente com o mundo físico tem sido um objetivo de longo prazo da comunidade de IA. O maior desafio é ensinar estas máquinas para que possam navegar eficientemente através de ambientes complexos e desconhecidos sem usar nenhum mapa.

Geralmente, mapas do mundo real ficam desatualizados dentro de meses, pois edifícios e estruturas mudam, e objetos são movidos. Por isso é bastante necessário construir IA para o mundo físico que possa navegar sem mapa.

Mantendo estas coisas em mente, pesquisadores da Facebook AI desenvolveram um novo algoritmo de aprendizado por reforço (RL) que resolve efetivamente a tarefa de navegação point-goal usando apenas dados de bússola, câmera RGB-D e GPS. Este algoritmo de larga escala é chamado DD-PPO (otimização de política proximal descentralizada distribuída).

Nova Arquitetura RL Distribuída Escala Bem

Hoje em dia, sistemas baseados em machine learning são capazes de superar especialistas humanos em vários jogos complexos. Mas como estes sistemas dependem de um volume massivo de amostras de treinamento, é bastante impossível construí-los sem paralelização distribuída em larga escala.

A arquitetura atual de aprendizado por reforço distribuído — inclui milhares de workers (CPUs) e um único servidor de parâmetros — não escala bem. Por isso, pesquisadores propuseram uma técnica de aprendizado por reforço distribuído síncrono.

O DD-PPO roda através de várias máquinas e não tem servidor de parâmetros. Cada worker (CPU) alterna entre coletar experiência em um ambiente simulado acelerado por GPU e intensivo em recursos, e otimizar o modelo. Em um estado de comunicação explícita, todos os workers sincronizam suas atualizações ao modelo. Em outras palavras, a distribuição é síncrona.

Usando esta abordagem, o DD-PPO exibiu escalonamento quase linear: conseguiu alcançar aceleração de 107 vezes em 128 GPUs sobre uma implementação serial.

Navegação Point-Goal Quase Perfeita

Na navegação point-goal, um agente é colocado em uma posição/orientação inicial aleatória em um ambiente desconhecido e encarregado de navegar para coordenadas alvo sem usar nenhum mapa. Pode usar apenas uma bússola, GPS, e uma câmera RGB ou RGB-D.

Pesquisadores aproveitaram a característica de escalonamento do DD-PPO para treinar o agente por 2,5 bilhões de passos, o que equivale a 80 anos de experiência humana. Em vez de meses, o treinamento foi completado em menos de três dias com 64 GPUs.

Os resultados mostraram que 90% do desempenho de pico foi obtido nos primeiros 100 milhões de passos com menos recursos computacionais (8 GPUs). Com bilhões de passos de experiência, o agente obtém taxa de sucesso de 99,9%. Em contraste, sistemas anteriores alcançaram taxa de sucesso de 92%.

Aplicações

Estes agentes de IA podem assistir pessoas no mundo físico. Por exemplo, poderiam mostrar informação relevante a usuários usando óculos de realidade aumentada, robôs podem recuperar itens de uma mesa no andar de cima, e sistemas alimentados por IA podem ajudar pessoas com deficiência visual.

Os modelos construídos neste estudo podem funcionar em configurações usuais, como dentro de laboratórios e prédios de escritórios, onde pontos de dados adicionais (mapas e dados GPS) não estão disponíveis.

Embora o modelo supere redes neurais convolucionais pré-treinadas no ImageNet e possa servir como recurso universal, ainda há muito a fazer para desenvolver sistemas que aprendam a navegar através de ambientes complexos. Pesquisadores estão atualmente explorando novas abordagens para implementar navegação point-goal apenas com RGB.