NVIDIA usa AI para ajudar as câmeras a ver claramente

• Os pesquisadores desenvolvem uma rede neural profunda que avalia a capacidade de uma câmera de ver claramente.
• Os veículos que dirigem sozinhos podem usar essa rede para tomar decisões melhores.

Dezenas de empresas estão trabalhando com tecnologia de veículos autônomos e todas abordam os desafios da engenharia de maneiras diferentes. Para imitar a capacidade humana de ver, a tecnologia se baseia principalmente em três elementos básicos:radar, câmeras e lidar.

No entanto, vários fatores como chuva, neve e outros tipos de bloqueios podem degradar a visão da câmera. Isso dificulta a capacidade do sistema de percepção robusto de compreender o que está ao seu redor e validar os dados vindos dos sensores.

Para detectar efetivamente a invalidade dos dados do sensor o mais rápido possível no pipeline de processamento antes que cheguem aos módulos downstream, os pesquisadores da NVIDIA desenvolveram um modelo de IA que avalia a capacidade de uma câmera de ver claramente.

Este modelo usa uma rede neural profunda - chamada ClearSightNet - para descobrir as causas dos bloqueios, oclusões e reduções na visibilidade. Tem potencial para

1. Justifique uma ampla gama de possíveis causas de redução da visibilidade da câmera.
2. Forneça dados acionáveis.
3. Execução de várias câmeras com baixa sobrecarga computacional

Como funciona?

A rede divide as fotos da câmera em duas partes diferentes; um deles está associado à oclusão enquanto o outro corresponde à redução da visibilidade.

Fonte:NVIDIA | YouTube

Oclusão representa a parte específica do campo de visão da câmera que é bloqueada por objetos opacos (como neve, lama ou poeira) ou não contém dados (por exemplo, pixels saturados devido à luz solar). Nessas porções, a percepção é totalmente prejudicada.

A visibilidade reduzida representa as partes parcialmente bloqueadas devido a neblina, claridade ou chuva forte. Nesses casos, a decisão tomada pelos algoritmos deve ser marcada com "menor confiança".

O lado esquerdo mostra a imagem de entrada, enquanto o lado direito é a imagem sobreposta com a máscara de saída da rede neural. Quase 84 por cento dos pixels da imagem são afetados pela oclusão parcial e completa.

Para mostrar essas partes, ClearSightNet coloca uma máscara em uma entrada de vídeo / imagem em tempo real. As regiões de visibilidade reduzida são marcadas com a cor verde e as regiões completamente oclusas são marcadas com a cor vermelha. A rede também exibe quanta área do vídeo de entrada é afetada pela visibilidade reduzida ou oclusão.

Esses dados podem ser usados ​​de várias maneiras. Os carros autônomos, por exemplo, podem optar por não aplicar nenhum recurso automático quando a visibilidade estiver baixa e alertar os motoristas para limpar o pára-brisa ou as lentes da câmera. Os veículos podem usar essa rede para saber a percepção da câmera.

A equipe planeja melhorar ainda mais o ClearSightNet para fornecer cálculos ponta a ponta e informações mais detalhadas sobre a visibilidade da câmera, permitindo maior controle sobre o processo de implementação de veículos autônomos.

Leia:Nvidia AI pode converter vídeos de 30 fps para 240 fps

No que diz respeito ao desempenho [do ClearSightNet atual], a rede funciona em cerca de 1,3 milissegundos (GPU integrada) e 0,7 milissegundos (GPU discreta) por quadro no Xavier. Já está disponível no NVIDIA DRIVE 9.0.