IA Transforma Dançarinos Amadores em Profissionais com Transferência de Movimento por Aprendizado Profundo

• Um sistema inovador de aprendizado profundo pode replicar a coreografia de grandes estrelas da dança em qualquer filmagem.
• Requer apenas entrada de vídeo comum — sem rigs 3D caros ou trajes de captura de movimento — para produzir resultados de qualidade de estúdio.

A Inteligência Artificial está remodelando indústrias, da eletrônica de consumo à exploração espacial, e esta última inovação demonstra seu poder transformador nas artes. Pesquisadores da Universidade da Califórnia desenvolveram um algoritmo de transferência de movimento que mapeia os movimentos de um dançarino fonte sobre um performer alvo, fazendo até um participante casual parecer uma bailarina experiente ou ícone pop.

Como a Tecnologia Funciona

O processo começa extraindo esqueletos de pose baseados em pontos-chave dos vídeos de fonte e alvo. Esses bonecos de pose fornecem uma representação leve e agnóstica à aparência da posição corporal, permitindo que o modelo foque apenas no movimento.

A pose de cada frame é gerada por um algoritmo de estimação de pose supervisionado, produzindo bonecos precisos. O modelo de transferência de movimento então ingere esses esqueletos, gerando imagens alvo que imitam a pose da fonte enquanto preservam a aparência do alvo. A saída final é refinada pela fusão do módulo de transferência de pose com uma rede generativa de refinamento, entregando frames mais nítidos e realistas.

O fluxo de trabalho é dividido em três etapas:

1. Detecção de pose — extrai pontos-chave 2D de ambas as filmagens.
2. Normalização global de pose — alinha os esqueletos entre os sujeitos.
3. Mapeamento de pose — sintetiza frames alvo que correspondem à pose da fonte.

Para garantir suavidade temporal, o algoritmo mescla a pose do frame atual com o frame gerado anteriormente, reduzindo drasticamente a tremulação. Para entradas de baixa taxa de quadros, um filtro mediano é aplicado; para vídeos de alta taxa (até 120 fps), usa-se suavização gaussiana dos pontos-chave.

Resultados de alta fidelidade são alcançados integrando Redes Adversariais Generativas Condicionais (cGANs) treinadas em mais de 20 minutos de filmagens de dança amadora de alta taxa de quadros por sujeito. A arquitetura pix2pixHD, desenvolvida pela NVIDIA, serve como base para o pipeline de tradução de imagem.

Referência: arXiv:1808.07371

Treinamento e inferência foram realizados em GPUs NVIDIA GeForce GTX 1080 Ti e TITAN Xp usando PyTorch com aceleração CUDA.

Direções Futuras

O algoritmo atualmente suporta transferência de movimento entre uma ampla variedade de sujeitos sem necessidade de hardware especializado. No entanto, tremulação ocasional permanece, especialmente quando a velocidade do movimento da fonte excede o intervalo visto durante o treinamento. Pesquisas em andamento focam em otimizar métodos de estimação de pose e expandir o repertório de movimentos para mitigar esses artefatos.

Para avanços relacionados, veja: IA da NVIDIA Converte Vídeos de 30fps para 240fps