A IA em tempo real colore instantaneamente vídeos em preto e branco com precisão incomparável

• O novo algoritmo de aprendizado profundo permite que os editores coloram rapidamente um vídeo inteiro, colorindo um quadro da cena. 
• É altamente preciso, eficiente e até 50 vezes mais rápido que os métodos anteriores. 

Os vídeos são compostos por muitos dados redundantes entre os quadros e leva muito tempo para colorir manualmente cada quadro em preto e branco. Esses tipos de redundâncias foram extensivamente examinados na codificação e compactação de vídeo, mas menos explorados no processamento avançado de vídeo, como colorir um clipe.

Existem vários algoritmos (como modelo CNN bilateral, filtragem guiada por similaridade, distorção baseada em fluxo óptico) que processam relacionamentos locais entre quadros consecutivos para propagar dados. Eles usam movimento aparente ou recursos pré-projetados em nível de pixel para modelar as semelhanças entre quadros e pixels.

No entanto, estes algoritmos têm várias limitações, por exemplo, não podem expressar as relações de alto nível entre quadros e não podem refletir com precisão a estrutura da imagem. Para superar essas limitações, os pesquisadores da NVIDIA desenvolveram um novo algoritmo baseado no método de aprendizagem profunda que permite aos editores colorir rapidamente um clipe inteiro, colorindo um único quadro na cena.

Como funciona?

Para aprender explicitamente a similaridade de alto nível entre quadros consecutivos, os pesquisadores desenvolveram uma rede de propagação temporal que consiste em um componente de propagação para transferir as características (como a cor) de um quadro para outro. Para fazer isso, ele usa uma matriz de transformação linear conduzida por uma rede neural convolucional (CNN).

A CNN decide quais cores devem ser transferidas do quadro colorido e as preenche nos quadros preto e branco restantes. Como essa técnica é diferente das outras, você perguntou? Pois bem, a melhor colorização pode ser obtida através de uma abordagem interativa em que o editor anota uma parte de uma imagem, resultando em um produto acabado.

Para a propagação do aprendizado no domínio temporal, os pesquisadores aplicaram 2 regras. Primeiro, a propagação entre quadros deve ser invertível. Segundo, o elemento alvo deve ser preservado durante todo o processo.



Eles mostraram que a técnica proposta não requer nenhum método de segmentação baseado em imagem para alcançar resultados decentes comparáveis às metodologias existentes no início da arte.

Referência: arXiv:1804.08758 | NVIDIA

Para treinar esta rede, os pesquisadores usaram GPUs NVIDIA Titan XP. Ele é treinado em centenas de clipes de vários conjuntos de dados para alta faixa dinâmica, cor e propagação de máscara. A rede está configurada no conjunto de dados ACT com 7.260 sequências de vídeo com aproximadamente 600.000 quadros.

Vantagens da técnica proposta

1. Alta precisão: O novo método alcança uma qualidade de vídeo muito melhor em comparação com trabalhos anteriores.
2. Alta eficiência: Ele é executado em tempo real, até 50 vezes mais rápido que os métodos anteriores. Melhora ainda mais a eficiência ao processar todos os quadros de vídeo em paralelo.

Leia:Nvidia AI pode converter vídeos de 30fps em 240fps

A técnica atual oferece uma maneira simples de propagar dados ao longo do tempo em clipes. Nos próximos anos, os pesquisadores tentarão descobrir como incorporar sinais de visão de alto nível, como rastreamento, semântica e segmentação, para propagação temporal.