Modelo autônomo enfrenta um problema de trânsito difícil:ruas estreitas

Digamos que dois veículos estejam indo um em direção ao outro em uma rua de mão única.

Se você estiver ao volante neste tipo de cenário de direção apertado e desafiador, poderá negociar com as partes próximas. Você pode encostar no acostamento da estrada e, em seguida, acenar para o motorista à frente para passar pela pista estreita. Por meio da interação, você pode descobrir manobras que mantêm todos seguros e em seu destino.

Um carro autônomo tem um desafio mais difícil e deve, de alguma forma, entender os motoristas próximos e sua vontade de jogar bem.

Um novo algoritmo em desenvolvimento pode guiar um veículo autônomo através de tráfego intenso em uma rua estreita e lotada.

O algoritmo, construído por pesquisadores do Argo AI Center for Autonomous Vehicle Research da Carnegie Mellon University , toma suas decisões modelando diferentes níveis de cooperação do motorista - qual a probabilidade de um motorista parar para deixar outro motorista passar.

Com o “Multi-Agent Reinforcement Learning”, ou MARL, a equipe, liderada pelo pesquisador Christoph Killing, conseguiu que veículos autônomos exibissem comportamentos semelhantes aos humanos, incluindo direção defensiva e interpretação do comportamento de outros agentes – em simulação, até agora.

O algoritmo não foi usado em um veículo no mundo real, mas os resultados são promissores, graças ao sistema baseado em recompensas do modelo.

"Incentivamos as interações com a segurança em mente", disse Killing, ex-pesquisador visitante do Instituto de Robótica da Escola de Ciência da Computação e agora faz parte do Laboratório de Sistemas Aéreos Autônomos da Universidade Técnica de Munique.



Em uma breve sessão de perguntas e respostas com Resumos técnicos abaixo, Christoph explica mais sobre como o modelo baseado em incentivos de sua equipe navega em situações de trânsito difíceis, onde não há regras oficiais de trânsito.

Resumos técnicos: Você caracterizaria seu modelo como mais cooperativo ou agressivo ao enfrentar um desafio que exige um pouco dos dois?

Christoph Matando: Como em qualquer cenário de direção, os veículos autônomos devem colocar a segurança em primeiro lugar e seguir todas as regras de trânsito. No entanto – e esta é a beleza e o desafio do cenário considerado – não existe nenhuma regra de trânsito coordenada neste tipo de cenário (em contraste com cruzamentos de paradas de 4 vias, por exemplo). Dois veículos de igual direito de passagem têm que negociar essencialmente quem vai primeiro e quem espera.

Se ambos os veículos estiverem puramente focados na segurança, ambos irão encostar. O principal desafio com que nos deparamos em nossa pesquisa foi:como fazer um veículo encostar e outro ir – não fazer os dois veículos encostar, não fazer os dois veículos irem, quando cada um toma suas próprias decisões sem qualquer instância de coordenação.

Incentivamos as interações com a segurança em mente; bater na velocidade é pior do que o tempo limite - mas os tempos limite também resultam em uma pequena penalidade para incentivar os agentes a aprender a interagir e passar um pelo outro.

Resumos técnicos :Quais são os principais parâmetros que seu modelo está usando para executar o drive? Em quais critérios o algoritmo baseia suas decisões?

Christoph Matando :Nosso algoritmo percebe o que estaria disponível em um carro real. Temos medidas de distância e velocidade relativa em torno da frente do carro (veja a Fig. 2 no relatório aqui ). Notavelmente, em comparação com trabalhos relacionados, não usamos uma visão panorâmica do cenário, mas uma perspectiva egocêntrica. Isso torna um pouco mais complicado, já que agora temos pontos cegos. Essa observação é aumentada por outros parâmetros, como a cooperação mencionada acima para dizer ao agente o quão agressivo deve se comportar, mas também o ângulo de direção atual e a posição do acelerador (que você também saberia ao dirigir neste cenário).

Resumos técnicos :O que ainda é um desafio para o algoritmo acertar?

Christoph Matando :Existem dois desafios principais:emparelhamentos excessivamente agressivos e emparelhamentos excessivamente passivos. (Compare as visualizações aqui .) Notavelmente, nossas políticas são capazes de negociar o cenário na maioria das vezes. No entanto, passageiros humanos podem ficar bastante insatisfeitos com seus carros fazendo algumas das manobras mostradas aqui .

Resumos técnicos :O que o algoritmo faz quando fica claro que um motorista adversário está sendo um motorista agressivo e “ruim”? Ou um motorista excessivamente “cooperativo”?

Christoph Matando :Testamos nossas políticas de direção atribuindo um valor de cooperação a cada veículo, informando o quão agressivo deve se comportar. Cada um sabe apenas sobre sua própria cooperação, não sobre a do carro adversário. Esses valores de cooperação se traduzem em comportamentos de direção de maneira bastante direta:um motorista não cooperativo está interessado apenas em seu próprio progresso. Um motorista altamente cooperativo não se importa com qual veículo avança primeiro, contanto que alguém vá. Esses valores são fixos ao longo da interação.

(Nós não consideramos “perder a paciência”. Não vou me aprofundar aqui, mas vamos apenas mantê-lo em “por razões matemáticas”.)

Resumos técnicos :Parte do modelo exige uma espécie de “leitura” do motorista adversário?

Christoph Matando :Uma palavra sobre a “leitura”:Na robótica, distinguimos entre o estado do mundo (ou seja, o planeta Terra como está agora) e uma observação. Nossos veículos não possuem módulo de memória. Então, como lidamos com coisas que não vemos no momento?

Mais carros autônomos em resumos técnicos

Um sistema de alerta para carros autônomos aprende com as falhas.

O software da Universidade Técnica de Munique mantém os veículos autônomos em um caminho seguro.

Digamos, por exemplo, que você está em uma chamada de Zoom com alguém. Você percebe uma observação parcial do planeta Terra, por assim dizer. A outra parte pega uma caneca de café de fora do campo de visão da câmera, toma um gole e a coloca de volta fora do campo de visão da câmera. Se você levar em consideração apenas a última observação que você fez depois que a caneca foi colocada no chão e está sendo perguntado o que eles bebem, você simplesmente não sabe (porque não há memória). No entanto, se você empilhar (chamamos isso de "concatenar") várias observações ao longo dos últimos segundos, você pode inferir algo sobre o estado do mundo ao ver a caneca sendo movida por vários quadros. Com base na rapidez com que eles o movem, você pode até dizer algo sobre o humor deles.

Da mesma forma, em nosso cenário, cada carro conhece apenas o outro agente, com base no que pode observar do espaço de observação (mostrado na Figura 2. no artigo ). Os estados internos (o valor cooperativo do outro carro, por exemplo) são desconhecidos. Concatenamos várias dessas observações parciais de cada veículo para permitir que elas formem implicitamente uma crença sobre o quão cooperativo o outro veículo pode ser. Não fazemos isso manualmente, mas temos a Deep Neural Network, a inteligência artificial, absorvendo a tarefa. Esta Rede Neural também tem que aprender a resposta à sua pergunta, ou seja, o que fazer depois de notar uma certa agressividade ou comportamento excessivamente cooperativo.

Resumos técnicos :Como o modelo percebe um comportamento "agressivo" ou "cooperativo" e responde de acordo?

Christoph Matando :Um agente excessivamente agressivo pode, por exemplo, simplesmente avançar para esse gargalo do cenário, essencialmente forçando o outro agente a esperar. Um agente excessivamente cooperativo – assim que toda a extensão do gargalo fosse perceptível por seus sensores – desaceleraria e esperaria. Aqui nossa política é treinada para selecionar imediatamente a ação complementar:detectar uma desaceleração e ir, ou vice-versa.

Resumos técnicos :O que vem a seguir para esta pesquisa?

Christoph Matando :Muitas coisas:Três pontos principais:Em primeiro lugar, o trabalho atual é veículo autônomo confrontado apenas com veículo autônomo. Precisaremos estender isso a um veículo autônomo confrontado com um humano e ver o quão bem cooperamos com eles. Em segundo lugar, em nossos veículos de trabalho só podem avançar, não permitimos a reversão. No entanto, isso pode ajudar a recuperar de situações em que estamos presos. Em terceiro lugar, nosso trabalho atualmente é apenas simulação. Transferi-lo para uma solução do mundo real é um passo importante que precisamos dar em algum momento.

O que você acha? Compartilhe suas perguntas e comentários abaixo.