Desvendando Pontos Cegos da IA para Aumentar a Segurança de Veículos Autônomos

Novo Modelo de Machine Learning Torna Veículos Autônomos Mais Seguros

Pesquisadores do MIT e da Microsoft desenvolveram um modelo que detecta "pontos cegos" de sistemas autônomos com auxílio de entrada humana. O sistema identifica instâncias onde a IA aprende com exemplos de treinamento que poderiam levar a erros perigosos no mundo real.

O Problema: Lacuna entre Simulação e Realidade

A IA que alimenta carros autônomos é extensivamente treinada em simulação para preparar o veículo para quase todos os cenários possíveis. No entanto, o sistema às vezes comete erros no mundo real: não muda seu comportamento (onde deveria) em certos cenários.

Exemplo: Um carro autônomo (pouco treinado) cruza uma rodovia e uma ambulância liga a sirene. O carro pode perceber a ambulância apenas como "um carro branco grande" e não dar passagem ou puxar para o lado.

Como o Modelo Incorpora Feedback Humano

O sistema autônomo é inicialmente treinado em simulação virtual, mapeando cada situação à melhor ação. Em seguida, é implantado no mundo real, onde humanos interrompem o sistema sempre que ele toma ações incorretas.

Humanos fornecem dados de duas formas:

• Correções: Pessoa senta no banco do motorista enquanto o veículo dirige sozinho. Se o sistema age inadequadamente, o humano assume o volante, sinalizando à IA que a ação estava incorreta e qual a ação correta.
• Demonstrações: Humanos dirigem o veículo no mundo real. O sistema analisa e compara cada ação humana com o que ele faria. Cada discrepância aponta ação inaceitável do sistema.

Tratamento de Pontos Cegos com Algoritmo Dawid-Skene

Após o treinamento manual, o sistema tem lista de ações aceitáveis e inaceitáveis. O objetivo: detectar situações ambíguas (pontos cegos) que a IA dificilmente diferencia.

Exemplo: O sistema pode ter cruzado ao lado de veículos grandes várias vezes sem puxar para o lado. Mas se fizer o mesmo com uma ambulância (que parece idêntica à IA), recebe sinal de feedback representando ação inaceitável.

Para lidar com isso, a equipe usou o algoritmo Dawid-Skene. Ele agrega todos os pontos cegos rotulados como "aceitáveis" e "inaceitáveis", usando cálculos de probabilidade para detectar padrões nos rótulos.

O algoritmo produz um único ponto cego agregado com nível de confiança para cada situação, além de um heatmap mostrando probabilidade baixa a alta de ser ponto cego.

Aplicação no Mundo Real

Se o modelo mapeia uma situação como ponto cego com alta probabilidade, pode pedir ação humana apropriada, permitindo execução mais segura. Esse tipo de modelo também ajuda robôs autônomos a prever quando podem tomar ações inadequadas em condições novas.

Referência: arXiv:1805.08966 | MIT