AI agora pode navegar por ambientes desconhecidos sem um mapa

• Pesquisadores do Facebook AI desenvolvem um novo algoritmo de aprendizagem por reforço denominado DD-PPO.
• Ele pode navegar por ambientes complexos usando apenas dados de bússola, câmera RGB-D e GPS.

O desenvolvimento de máquinas inteligentes que interagem de maneira inteligente com o mundo físico tem sido um objetivo de longo prazo da comunidade de IA. O maior desafio é ensinar essas máquinas para que possam navegar com eficiência por ambientes complexos e desconhecidos sem usar nenhum mapa.

Normalmente, os mapas do mundo real ficam desatualizados em alguns meses, conforme os edifícios e as estruturas mudam e os objetos são movidos. É por isso que é necessário construir IA para o mundo físico que pode navegar sem um mapa.

Mantendo essas coisas em mente, os pesquisadores do Facebook AI desenvolveram um novo algoritmo de aprendizagem por reforço (RL) que resolve efetivamente a tarefa de navegação ponto-objetivo usando apenas dados de bússola, câmera RGB-D e GPS. Este algoritmo de grande escala é denominado DD-PPO (otimização de política proximal distribuída descentralizada).

Nova arquitetura distribuída de RL dimensiona bem

Hoje em dia, os sistemas baseados em aprendizado de máquina são capazes de superar os especialistas humanos em vários jogos complexos. Mas, como esses sistemas dependem de um grande volume de amostras de treinamento, é quase impossível construí-los sem a paralelização distribuída em grande escala.

A arquitetura de aprendizado de reforço distribuído atual - inclui milhares de trabalhadores (CPUs) e um único servidor de parâmetro - não tem um bom escalonamento. É por isso que os pesquisadores propuseram uma técnica de aprendizado por reforço distribuído síncrono.

DD-PPO é executado em várias máquinas e não possui servidor de parâmetros. Cada trabalhador (CPU) alterna entre reunir experiência em um ambiente simulado acelerado por GPU e com uso intensivo de recursos e otimizar o modelo. Em um estado de comunicação explícita, todos os trabalhadores sincronizam suas atualizações com o modelo. Em outras palavras, a distribuição é síncrona.

Todos os trabalhadores simulam um agente realizando navegação de ponto-objetivo e, a seguir, otimizam o modelo e sincronizam suas atualizações | É assim que os dados são compartilhados durante o treinamento com DD-PPO

Usando essa abordagem, o DD-PPO exibiu um escalonamento quase linear:ele foi capaz de atingir um aumento de velocidade de 107 vezes em 128 GPUs em uma implementação serial.

Referência:arXiv:1911.00357 | Facebook AI

Navegação ponto-meta quase perfeita

Na navegação ponto-objetivo, um agente é colocado em uma posição / orientação inicial aleatória em um ambiente desconhecido e recebe a tarefa de navegar até as coordenadas do alvo sem usar nenhum mapa. Ele pode usar apenas uma bússola, GPS e uma câmera RGB ou RGB-D.

Os pesquisadores aproveitaram o recurso de dimensionamento do DD-PPO para treinar o agente em 2,5 bilhões de etapas, o que equivale a 80 anos de experiência humana. Em vez de meses, o treinamento foi concluído em menos de três dias com 64 GPUs.

Os resultados mostraram que 90% do desempenho de pico foi obtido nas primeiras 100 milhões de etapas com menos recursos de computação (8 GPUs). Com bilhões de etapas de experiência, o agente obtém uma taxa de sucesso de 99,9%. Em contraste, os sistemas anteriores alcançaram uma taxa de sucesso de 92%.

O agente volta atrás após escolher o caminho errado para chegar à sua posição de destino | Cortesia de pesquisadores

Aplicativos

Esses agentes de IA podem ajudar as pessoas no mundo físico. Por exemplo, eles podem mostrar informações relevantes para usuários que usam óculos de realidade aumentada, robôs podem recuperar itens de uma mesa no andar de cima e sistemas alimentados por IA podem ajudar pessoas com deficiência visual.

Os modelos construídos neste estudo podem funcionar em configurações usuais, como dentro de laboratórios e edifícios de escritórios, onde pontos de dados adicionais (mapas e dados GPS) não estão disponíveis.

Leia:Facebook desenvolve IA capaz de copiar a voz de qualquer pessoa com precisão sem precedentes

Embora o modelo supere as redes neurais convolucionais pré-treinadas da ImageNet e possa servir como um recurso universal, ainda há muito a fazer para desenvolver sistemas que aprendam a navegar em ambientes complexos. Atualmente, os pesquisadores estão explorando novas abordagens para implementar a navegação pontual e objetiva somente RGB.