Google Revela IA que Gera Vídeos Completos a Partir de Quadros Inicial e Final

Avanços recentes em arquiteturas de redes neurais artificiais e redes generativas adversariais impulsionaram o desenvolvimento de métodos de síntese de imagem/vídeo. A maioria das pesquisas existentes foca em duas operações: geração de vídeo incondicional e previsão de vídeo. Ambas envolvem gerar/prever novos vídeos plausíveis usando um número limitado de quadros passados.

Recentemente, uma equipe de pesquisa do Google focou no problema de criar sequências de vídeo diversas e plausíveis, quando há apenas dois quadros (um inicial e um final) disponíveis. O processo, chamado interpolação, é geralmente realizado treinando/rodando redes neurais recorrentes, usando unidades recorrentes comportadas ou memória de curto e longo prazo.

No entanto, neste estudo, os pesquisadores mostraram que este problema (interpolação) pode ser resolvido através de uma rede neural convolucional 3D. Uma grande vantagem deste método é a simplicidade. Como não usa elemento recorrente, caminhos de gradiente mais curtos podem permitir redes mais profundas e treinamento mais estável.

Modelo Totalmente Convolucional

Em uma rede convolucional, é bastante fácil impor consistência temporal com os quadros inicial e final (fornecidos como entradas). O modelo tem 3 componentes principais:

1. Um codificador de imagem convolucional 2D para mapear quadros-chave de entrada para um espaço latente.
2. Um gerador de representação latente convolucional 3D para incorporar os dados dos quadros de entrada com resolução temporal progressivamente crescente.
3. Um gerador de vídeo para decodificar a representação latente em quadros de vídeo.

A equipe tentou criar o vídeo diretamente das representações codificadas dos quadros inicial e final, mas os resultados não foram satisfatórios. Por isso, projetaram o gerador de representações latentes, que funde estocasticamente as representações dos quadros-chave e aumenta progressivamente a resolução temporal do vídeo final.

Testes

A equipe testou seu modelo em vários conjuntos de dados públicos, incluindo UCF101 Action Recognition, BAIR e KTH Action Database.

Os resultados finais: cada amostra no conjunto de dados continha um total de 16 quadros, dos quais 14 foram gerados por redes neurais convolucionais. O modelo foi executado mais de cem vezes para cada par de quadros-chave, e todo o processo foi repetido 10x para cada variante do modelo.

Em todos os casos, o modelo foi capaz de criar sequências de vídeo realistas, desde que os quadros-chave estejam a cerca de 1/2 segundo de distância um do outro. Além disso, os pesquisadores mostraram que é possível criar uma variedade de sequências, simplesmente alterando o vetor de ruído de entrada que impulsiona o processo generativo. Este novo método pode fornecer uma perspectiva alternativa valiosa para futuros estudos sobre criação de vídeo.