Nova IA pode transformar imagens estáticas em animações 3D

• Novo método de aprendizado profundo usa redes neurais convolucionais para animar um personagem em 3D a partir de uma única imagem estática.
• Pode fazer um personagem da imagem sair, sentar, correr ou pular em 3D.
• A animação inteira pode ser vista interativamente em monitores e dispositivos VR / AR.

Nos últimos anos, a animação geral de vídeos levou a vários efeitos criativos. A animação a partir de uma única imagem, em vez de vídeos ou séries de fotos, também resultou em efeitos fascinantes.

O modelo Skinned Multi-Person Linear (SMPL) e as estruturas de aprendizado profundo provaram ser extremamente úteis para pose 3D e estimativa de forma a partir de uma única imagem. Até agora, a maioria das técnicas de animação de uma pessoa com imagem única focalizou principalmente a animação 2D ou pseudo-3D.

Recentemente, uma equipe de pesquisa da Universidade de Washington e do Facebook desenvolveu uma nova técnica que pode transformar pinturas estáticas e imagens em animações 3D. Este método de aprendizado profundo denominado “Photo Wake-Up” usa uma rede neural convolucional (CNN) para animar um personagem em 3D a partir de uma única imagem estática.

Dando vida ao personagem de primeiro plano

Ao contrário dos cinemagraphs que usam imagens estáticas em movimento em uma ordem específica para criar um vídeo, o novo sistema pega uma única imagem como entrada e fornece uma experiência 3D completa. Ele pode fazer um personagem na imagem sair, sentar, correr ou pular em 3D, e toda a animação pode ser vista interativamente em monitores e dispositivos VR / AR.

Agora, você deve estar se perguntando como esse novo método funciona. Bem, envolve 5 etapas:

1. Ajuste a imagem com um modelo de corpo morfável
2. Estime o mapa do rótulo do corpo
3. Construa uma malha passo a passo guiada pelo modelo morfável
4. Montar a malha e estimar os pesos de esfola da malha
5. Por fim, reconstrua as texturas e coloque-as em uma imagem de fundo em branco.

A CNN depende de um modelo SMPL pré-treinado e roda em GPUs NVIDIA TITAN. Ele funciona em uma ampla gama de imagens frontais, de pôsteres e artes a fotos de esportes. Os usuários podem até mesmo editar a pessoa na foto, ver o corpo reconstruído em 3D e explorá-lo em dispositivos de RA, por exemplo, os usuários podem colocar a obra de arte na parede e caminhar ao redor da animação enquanto ela é reproduzida.

Leia:arXiv:1812.02246 | Universidade de Washington

A equipe demonstrou o algoritmo em imagens de personagens de desenhos animados, graffiti, Stephen Curry (jogador da NBA) e pinturas de Picasso. Até agora, eles testaram a rede neural em mais de 70 imagens baixadas da Internet.

Comparação e limitações

Os pesquisadores compararam seu algoritmo com outros métodos relacionados de última geração e avaliaram os resultados com estudos em humanos. Os resultados obtidos por meio do Photo Wake-Up pareceram muito menos distorcidos e mais realistas em quadros estáticos do que outros métodos. Além disso, esses resultados fornecem experiências 3D reais que não eram possíveis com as técnicas convencionais.

Leia:A nova inteligência artificial pode transformar qualquer pessoa em um dançarino profissional

O algoritmo ainda está longe de ser perfeito e ainda há muito espaço para melhorias. Por exemplo, reflexos e sombras ainda não foram modelados e, às vezes, produz pose 3D incorreta devido à qual todo o formato do corpo parece irreal. Além disso, certas oclusões precisam ser refinadas, como as pernas cruzadas ao sentar.