Samsung AI pode criar filmagens de uma única foto

• Um novo modelo de IA pode fabricar avatares falantes a partir de uma única imagem.
• Os desenvolvedores aplicaram esse modelo a pinturas populares, incluindo Leonardo Da Vinci e Mona Lisa.
• Os resultados têm algumas falhas visuais, mas são muito mais impressionantes do que as técnicas anteriores.

O software para gerar deepfakes (uma técnica baseada em inteligência artificial para a síntese de imagens humanas) requer grandes conjuntos de imagens para construir uma falsificação realista. Avanços recentes em redes neurais mostraram como imagens humanas altamente realistas podem ser obtidas treinando a rede em uma ampla gama de conjuntos de dados.

No entanto, os desenvolvedores do centro de pesquisa da Samsung em Moscou desenvolveram um novo modelo de inteligência artificial (IA) que pode criar avatares falantes a partir de uma única imagem. Embora seja possível fabricar um videoclipe a partir de uma imagem, treiná-lo por meio de várias imagens resulta em uma melhor identificação de preservação e maior realismo.

As cabeças falantes geradas por este modelo podem lidar com várias poses, incluindo aquelas que vão além das habilidades dos sistemas baseados em warping. Você pode encontrar algumas falhas visuais, mas os resultados são muito impressionantes em comparação com as técnicas anteriores. O modelo leva à criação de multimídia que, em última análise, será difícil de distinguir do vídeo real.

Desafios envolvidos

Fabricar sequências realistas de avatares falantes é difícil principalmente por dois motivos -

1. As cabeças humanas têm alta complexidade cinemática, geométrica e fotométrica. É necessário modelar com precisão o cabelo, os olhos, a cavidade da boca e muitos outros elementos.
2. A agudeza do sistema visual em relação a erros minúsculos na modelagem da aparência de cabeças humanas.

Para resolver esses problemas, o novo modelo de IA cria três redes neurais durante o processo de aprendizagem. Ele constrói uma rede incorporada que conecta quadros de referência de rosto com vetores. Em seguida, ele constrói uma rede de gerador para mapear pontos de referência nos clipes sintetizados. Na etapa final, a rede discriminadora avalia a pose e o realismo dos quadros.

Referência:arXiv:1905.08233 | YouTube

Para entender melhor os marcos e movimentos do rosto, os pesquisadores treinaram as redes em milhares de vídeos do YouTube de humanos falando. Os resultados (cabeças falantes) foram então comparados com redes neurais alternativas por meio de medições quantitativas.

Resultados

A equipe aplicou esse modelo em imagens de muitas figuras populares, como Mona Lisa, Leonardo Da Vinci e Albert Einstein. A IA foi capaz de fabricar vídeos falados a partir de uma única imagem, dando vida a retratos clássicos. Só precisa de uma foto para criar vídeos. No entanto, um modelo treinado em 32 fotos pode obter uma pontuação de personalização melhor e realismo perfeito.



Este tipo de IA pode ter várias aplicações práticas em telepresença, incluindo jogos multiplayer, videoconferência, bem como indústrias de efeitos especiais.

Leia:IBM desenvolve uma inteligência artificial que detecta a cena de um vídeo

Por outro lado, o rápido desenvolvimento de tais técnicas pode aumentar o risco de desinformação, falsificação de identidade, fraude e adulteração eleitoral.