NVIDIA desenvolve IA que cria gráficos interativos do mundo real

• Pesquisadores demonstram um novo tipo de síntese de vídeo para vídeo.
• Ele permite que os desenvolvedores renderizem ambientes 3D totalmente interativos a partir de vídeos do mundo real.
• Ele pode criar vídeos de 30 segundos com resolução de 2K.

Quase duas décadas atrás, a NVIDIA surgiu com a primeira GPU do mundo, oferecendo um salto significativamente grande no desempenho de jogos 3D. Agora, eles introduziram uma ferramenta de inteligência artificial que permite aos desenvolvedores renderizar ambientes tridimensionais interativos e totalmente sintéticos a partir de vídeos do mundo real.

A capacidade de modelar e recriar dinâmicas do mundo real é crucial para o desenvolvimento de agentes inteligentes. Sintetizar experiências visuais contínuas tem uma variedade de aplicações em computação gráfica e robótica. Isso pode ajudar os desenvolvedores a criar cenas realistas sem especificar a iluminação, os materiais e a geometria da cena.

Neste trabalho, os pesquisadores demonstraram um novo tipo de síntese de vídeo para vídeo. O objetivo é aprender uma função de mapeamento que pode transformar com eficiência um vídeo de entrada em um vídeo de saída. Eles sintetizaram vídeos de alta resolução, temporalmente consistentes, usando geradores e discriminadores, e aprendizado de adversário espaço-temporal.

Uso de redes neurais para renderizar descrições de alto nível

Para renderizar o mundo tridimensional sintético em tempo real, eles começaram com uma rede neural geradora condicional e a treinaram em vídeos existentes. As redes aprenderam gradualmente a renderizar objetos como veículos, edifícios e árvores.

Com a tecnologia existente, os desenvolvedores precisam modelar cada objeto individualmente, o que é um processo demorado e caro. Por outro lado, a nova ferramenta é baseada em um modelo que aprende automaticamente com o vídeo real e cria mundos virtuais para automóveis, games, robótica, arquitetura e realidade virtual.

Referência:arXiv:1808.06601 | NVIDIA | GitHub

Ele pode criar ambientes interativos baseados em locais reais ou pode exibir pessoas dançando como suas estrelas do rock favoritas. A rede funciona em descrições de alto nível de uma cena 3D, como mapas de borda que descrevem localizações de objetos, bem como seus atributos gerais, como se uma certa parte de uma imagem consiste em um edifício ou um carro. Em seguida, ele usa cenas do mundo real para preencher os detalhes.

As redes neurais foram treinadas em vídeos de áreas urbanas reais. Os pesquisadores criaram uma demonstração que permite às pessoas navegar em um mundo urbano virtual renderizado pelas redes. Como as cenas são criadas sinteticamente, é fácil editar, adicionar ou modificar objetos na cena virtual.

Cortesia de pesquisadores

A demonstração é executada em GPUs NVIDIA Tensor Core e oferece uma experiência totalmente nova de gráficos interativos, de acordo com o relatório. As redes neurais são treinadas em DGX-1 junto com a biblioteca CUDA Deep Neural Network, usando GPUs NVIDIA Tesla V100. A equipe selecionou vários milhares de clipes dos conjuntos de dados Cityscapes e Apolloscapes para treinar as redes.

Teste

Eles realizaram vários testes e obtiveram resultados quantitativos e qualitativos, que mostram que as cenas sistematizadas parecem mais realistas do que aquelas geradas pelos métodos de última geração existentes.

Este novo AI pode produzir vídeos de 30 segundos com resolução de 2K. Além disso, fornece controle de alto nível sobre a saída. Por exemplo, o on pode facilmente adicionar ou substituir árvores por edifícios na cena.

A abordagem não é perfeita e falha em vários cenários, como renderizar o veículo em curva devido a dados insuficientes do mapa. No entanto, isso pode ser corrigido integrando dicas 3D, como mapas de profundidade.

Leia:A IA do Google pode rastrear objetos colorindo vídeos

Embora o estudo esteja em um estágio inicial, as aplicações dessa técnica podem tornar muito mais fácil e barato desenvolver ambientes virtuais para uma variedade de domínios.