NVIDIA Revela IA para Gerar Ambientes 3D Interativos a partir de Vídeos do Mundo Real

Visão Geral

• Pesquisadores demonstram um novo tipo de síntese video-a-video.
• Permite que desenvolvedores renderizem ambientes 3D totalmente interativos a partir de vídeos do mundo real.
• Pode criar vídeos de 30 segundos de resolução 2K.

Quase duas décadas atrás, a NVIDIA lançou a primeira GPU do mundo, oferecendo um salto significativamente grande no desempenho de jogos 3D. Agora, introduziram uma ferramenta de inteligência artificial que permite aos desenvolvedores renderizar ambientes tridimensionais totalmente sintéticos e interativos a partir de vídeos do mundo real.

A capacidade de modelar e recriar dinâmicas do mundo real é crucial para desenvolver agentes inteligentes. Sintetizar experiências visuais contínuas tem uma variedade de aplicações em computação gráfica e robótica. Poderia ajudar desenvolvedores a criar cenas realistas sem especificar iluminação, materiais e geometria da cena.

Neste trabalho, pesquisadores demonstraram um novo tipo de síntese video-a-video. O objetivo é aprender uma função de mapeamento que possa transformar eficientemente um vídeo de entrada em um vídeo de saída. Sintetizaram vídeos de alta resolução, temporalmente consistentes, usando geradores e discriminadores, e aprendizado adversarial espaço-temporal.

Usando Redes Neurais Para Renderizar Descrições de Alto Nível

Para renderizar o mundo tridimensional sintético em tempo real, começaram com uma rede neural generativa condicional e a treinaram em vídeos existentes. As redes aprenderam gradualmente a renderizar objetos como veículos, edifícios e árvores.

Com a tecnologia existente, os desenvolvedores precisam modelar cada objeto individualmente, processo que consome tempo e é caro. Por outro lado, a nova ferramenta baseia-se em um modelo que aprende automaticamente de vídeo real e cria mundos virtuais para automotivo, jogos, robótica, arquitetura e realidade virtual.

Referência: arXiv:1808.06601 | NVIDIA | GitHub

Ela pode criar ambientes interativos baseados em locais reais, ou pode mostrar pessoas dançando como suas estrelas de rock favoritas. A rede trabalha em descrições de alto nível de uma cena 3D, como mapas de borda descrevendo localizações de objetos e seus atributos gerais, como se uma certa parte de uma imagem consiste em um edifício ou carro. Então, usa cenas do mundo real para preencher os detalhes.

As redes neurais foram treinadas em vídeos de áreas urbanas reais. Pesquisadores criaram uma demo que permite às pessoas navegar em um mundo urbano virtual renderizado pelas redes. Como as cenas são criadas sinteticamente, é fácil editar, adicionar ou modificar objetos na cena virtual.

A demo roda em GPUs NVIDIA Tensor Core e fornece uma experiência totalmente nova de gráficos interativos, segundo o relatório. As redes neurais são treinadas em DGX-1 junto com a biblioteca CUDA Deep Neural Network, usando GPUs NVIDIA Tesla V100. A equipe selecionou vários milhares de clipes dos datasets Cityscapes e Apolloscapes para treinar as redes.

Testes

Realizaram múltiplos testes e obtiveram resultados quantitativos e qualitativos, que mostram que as cenas sintetizadas parecem mais realistas que as geradas por métodos state-of-the-art existentes.

Esta nova IA pode produzir vídeos de 30 segundos de resolução 2K. Também fornece controle de alto nível sobre a saída. Por exemplo, pode-se facilmente adicionar ou substituir árvores por edifícios na cena.

A abordagem não é perfeita e falha em vários cenários, como renderizar veículo virando devido a dados de mapa insuficientes. No entanto, isso pode ser corrigido integrando pistas 3D como mapas de profundidade.

Leia: IA do Google Pode Rastrear Objetos Colorindo Vídeos

Embora o estudo esteja em estágio inicial, aplicações desta técnica poderiam tornar muito mais fácil e barato desenvolver ambientes virtuais para uma variedade de domínios.