NVIDIA Usa IA para Melhorar Clareza de Câmeras em Veículos Autônomos

ClearSightNet: Deep Neural Network Avalia Capacidade de Visão da Câmera em Tempo Real

Dezenas de empresas trabalham em veículos autônomos com abordagens diferentes. Para imitar visão humana, tecnologia baseia-se em 3 elementos: radar, câmeras, lidar.

Fatores como chuva, neve, bloqueios degradam visão da câmera. Isso prejudica capacidade do sistema de percepção robusta de entender entorno e validar dados dos sensores.

Para detectar invalidade de dados de sensor o mais cedo possível no pipeline antes de módulos downstream, NVIDIA desenvolveu modelo IA que avalia capacidade da câmera de ver claramente.

Como Funciona: Máscaras de Oclusão e Visibilidade Reduzida

Rede divide imagens da câmera em duas partes:

• Oclusão: Porção do campo de visão bloqueada por objetos opacos (neve, lama, poeira) ou sem dados (pixels saturados por luz solar). Percepção totalmente prejudicada.
• Visibilidade reduzida: Porções parcialmente bloqueadas por neblina, ofuscamento, chuva forte. Decisões de algoritmos marcadas com "menor confiança".

ClearSightNet coloca máscara em vídeo/imagem input em tempo real. Regiões visibilidade reduzida = verde; oclusão completa = vermelho. Mostra quanto da área do input afetada.

Usos Práticos

• Carros autônomos não aplicam recurso auto quando visibilidade baixa, alertam motorista para limpar para-brisa/lente.
• Veículos usam rede para conhecer percepção da câmera.

Planos: melhorar ClearSightNet para cálculos ponta-a-ponta e info mais detalhada sobre visibilidade, permitindo maior controle sobre implementação de veículos autônomos.

Performance

Roda em ~1,3 ms (GPU integrada) e 0,7 ms (GPU discreta) por frame no Xavier. Já disponível no NVIDIA DRIVE 9.0.

Fonte: NVIDIA | YouTube