IA da Samsung Gera Avatares Falantes Realistas a Partir de Uma Única Foto

IA da Samsung Gera Avatares Falantes Realistas a Partir de Uma Única Foto

• Novo modelo de IA pode fabricar avatares falantes a partir de uma única imagem.
• Desenvolvedores aplicaram este modelo a pinturas famosas, incluindo Leonardo Da Vinci e Mona Lisa.
• Os resultados têm alguns defeitos visuais, mas são muito mais impressionantes que técnicas anteriores.

Software para geração de deepfakes (técnica baseada em inteligência artificial para síntese de imagem humana) requer grandes conjuntos de imagens para construir uma falsificação realista. Avanços recentes em redes neurais mostraram como imagens humanas altamente realistas podem ser obtidas treinando a rede em uma ampla gama de conjuntos de dados.

No entanto, desenvolvedores do centro de pesquisa da Samsung em Moscou desenvolveram agora um novo modelo de inteligência artificial (IA) que pode criar avatares falantes a partir de uma única imagem. Embora seja possível fabricar um clipe de vídeo a partir de uma imagem, treiná-lo através de várias imagens resulta em melhor preservação de identidade e maior realismo.

As cabeças falantes geradas por este modelo podem lidar com várias poses, incluindo aquelas que vão além das capacidades de sistemas baseados em deformação. Você pode encontrar alguns defeitos visuais, mas os resultados são muito mais impressionantes comparados a técnicas anteriores. O modelo leva à criação de multimídia que será, em última análise, difícil de distinguir de vídeo real.

Desafios Envolvidos

Fabricar sequências realistas de avatares falantes é difícil principalmente por duas razões:

1. Cabeças humanas têm alta complexidade cinemática, geométrica e fotométrica. É necessário modelar com precisão cabelo, olhos, cavidade bucal e muitos outros elementos.
2. A acuidade do sistema visual em relação a pequenos erros na modelagem da aparência de cabeças humanas.

Para resolver esses problemas, o novo modelo de IA cria três redes neurais durante o processo de aprendizado. Constrói uma rede embutida que conecta frames de marcos faciais com vetores. Depois, constrói uma rede geradora para mapear marcos nos clipes sintetizados. Na etapa final, a rede discriminadora avalia a pose e o realismo dos frames.

Referência: arXiv:1905.08233 | YouTube

Para melhor compreender marcos faciais e movimentos, pesquisadores treinaram as redes em milhares de vídeos do YouTube de humanos falando. Os resultados (cabeças falantes) foram então comparados com redes neurais alternativas via medições quantitativas.

Resultados

A equipe aplicou este modelo em imagens de muitas figuras populares, como Mona Lisa, Leonardo Da Vinci e Albert Einstein. A IA foi capaz de fabricar vídeos falantes a partir de uma única imagem, trazendo retratos clássicos à vida. Precisa apenas de uma foto para criar vídeos. No entanto, um modelo treinado em 32 imagens pode alcançar uma pontuação de personalização melhor e realismo perfeito.

Este tipo de IA pode ter várias aplicações práticas em telepresença, incluindo jogos multiplayer, videoconferência, bem como indústrias de efeitos especiais.

Leia: IBM Desenvolve IA Que Detecta Cena Em Um Vídeo

No lado negativo, o rápido desenvolvimento de tais técnicas pode levantar riscos de desinformação, personificação, fraude e manipulação de eleições.