IA Gera Movimentos de Dança Realistas e Diversos para Revolucionar Coreografia

Pesquisadores treinam um modelo de aprendizado profundo para gerar novos passos de dança que são realistas, diversos e consistentes no estilo. Ele pode auxiliar e expandir a criação de conteúdo em várias áreas, como ginástica rítmica e performance teatral.

O Núcleo do Coreógrafo de IA

Para sintetizar dança a partir de música, os pesquisadores desenvolveram um framework de decomposição-para-composição, que primeiro aprende como se mover (na fase de decomposição) e depois como organizar movimentos básicos em uma sequência (na fase de composição).

Na primeira fase, eles extraíram batidas de movimento de uma sequência de dança, usando um detector de batida cinemático. Cada sequência de dança é então normalizada temporalmente em uma série de unidades de dança. Unidades de dança individuais foram separadas em poses iniciais e movimentos.

Referência: arXiv:1911.02001 | GitHub

Na segunda fase, os pesquisadores propuseram um modelo música-para-movimento para criar uma sequência de movimentos que corresponda à música de entrada. Em tempo de execução, eles extraíram a batida e informação de estilo, e então produziram sequencialmente uma série de unidades de dança de acordo com o estilo musical. Finalmente, eles deformaram as unidades de dança pelas batidas de áudio extraídas.

Para treinar a rede, a equipe coletou mais de 360.000 clipes de vídeo totalizando 71 horas. Esses vídeos incluíam três categorias de dança: Hip-Hop, Zumba e Ballet.

Para processar diferentes poses, eles usaram OpenPose, um sistema multi-pessoa em tempo real para detectar conjuntamente corpo humano, facial, mão e pontos-chave dos pés em imagens únicas. E para avaliação de desempenho, usaram diferentes métricas para examinar consistência de estilo, realismo, diversidade e correspondência de batida.

Mapeamento de danças geradas para vídeos foto-realistas | Cortesia dos pesquisadores

Os pesquisadores também sintetizaram sequências de poses para vídeos foto-realistas para visualizar melhor os resultados. O dataset de dança e música pareado em larga escala junto com o código fonte está disponível no GitHub.

A rede adversarial generativa é treinada usando o framework de aprendizado profundo PyTorch em GPUs NVIDIA V100. No futuro próximo, os pesquisadores adicionarão mais estilos de dança (como dança de par) para tornar o sistema ainda melhor.