Pesquisadores da CMU treinam drones autônomos usando dados simulados multimodais

Para voar de forma autônoma, os drones precisam entender o que percebem no ambiente e tomar decisões com base nessas informações. (Veja o vídeo abaixo.)

Um novo método desenvolvido por pesquisadores da Universidade Carnegie Mellon permite que os drones aprendam percepção e ação separadamente.

A abordagem de dois estágios supera a “lacuna da simulação para a realidade” e cria uma maneira de implantar com segurança drones treinados inteiramente em dados simulados na navegação do curso do mundo real.

Rogerio Bonatti, estudante de doutorado no Instituto de Robótica da Escola de Ciência da Computação, diz:“Normalmente, os drones treinados até mesmo nos melhores dados simulados fotorrealistas falharão no mundo real porque a iluminação, as cores e as texturas ainda são muito diferentes para traduzir.

“Nosso módulo de percepção é treinado com duas modalidades para aumentar a robustez contra as variabilidades ambientais.”

A primeira modalidade que ajuda a treinar a percepção do drone é a imagem. Os pesquisadores usaram um simulador fotorrealista para criar um ambiente que incluía o drone, um campo de futebol e portões quadrados vermelhos levantados do chão e posicionados aleatoriamente para criar uma pista.

Eles então construíram um grande conjunto de dados de imagens simuladas de milhares de configurações de drones e portões gerados aleatoriamente.

A segunda modalidade necessária para a percepção é conhecer a posição e orientação dos portões no espaço, o que os pesquisadores realizaram usando o conjunto de dados de imagens simuladas.

Ensinar o modelo usando várias modalidades reforça uma representação robusta da experiência do drone, o que significa que ele pode entender a essência do campo e dos portões de uma maneira que se traduz da simulação para a realidade.

A compactação de imagens para ter menos pixels ajuda nesse processo. Aprender a partir de uma representação de baixa dimensão permite que o modelo veja através do ruído visual no mundo real e identifique as portas.

Com a percepção aprendida, os pesquisadores implantam o drone dentro da simulação para que ele possa aprender sua política de controle – ou como se mover fisicamente.

Nesse caso, ele aprende qual velocidade aplicar à medida que navega no curso e encontra cada portão. Por ser um ambiente simulado, um programa pode calcular a trajetória ideal do drone antes da implantação.

Esse método oferece uma vantagem sobre o aprendizado supervisionado manualmente usando um operador especializado, pois o aprendizado do mundo real pode ser perigoso, demorado e caro.

O drone aprende a navegar pelo curso passando por etapas de treinamento ditadas pelos pesquisadores. Bonatti disse que desafia agilidades e direções específicas que o drone precisará no mundo real.

Bonatti diz:“Faço o drone girar para a esquerda e para a direita em diferentes formatos de pista, que ficam mais difíceis à medida que adiciono mais ruído. O robô não está aprendendo a recriar passando por nenhuma pista específica.

“Em vez disso, ao direcionar estrategicamente o drone simulado, ele está aprendendo todos os elementos e tipos de movimentos para correr de forma autônoma”.

Bonatti quer empurrar a tecnologia atual para se aproximar da capacidade humana de interpretar sinais ambientais.

Ele diz:“A maior parte do trabalho em corridas de drones autônomos até agora se concentrou na engenharia de um sistema aumentado com sensores e software extras com o único objetivo de velocidade.

“Em vez disso, pretendemos criar um tecido computacional, inspirado na função de um cérebro humano, para mapear informações visuais para as ações de controle corretas passando por uma representação latente.”

Mas a corrida de drones é apenas uma possibilidade para esse tipo de aprendizado. O método de separar percepção e controle pode ser aplicado a muitas tarefas diferentes de inteligência artificial, como dirigir ou cozinhar.

Enquanto este modelo depende de imagens e posições para ensinar a percepção, outras modalidades como sons e formas podem ser usadas para esforços como identificar carros, animais selvagens ou objetos

Os pesquisadores que contribuíram para este trabalho incluem Sebastian Scherer, da Carnegie Mellon, e Ratnesh Madaan, Vibhav Vineet e Ashish Kapoor, da Microsoft Corporation.

O artigo, Aprendendo políticas visomotoras para navegação aérea usando representações multimodais , foi aceito na Conferência Internacional sobre Robôs e Sistemas Inteligentes 2020.

O código do artigo é de código aberto e está disponível para outros pesquisadores.