AI agora pode compor movimentos de dança diversos e realistas

• Os pesquisadores treinam um modelo de aprendizado profundo para gerar novos passos de dança realistas, diversificados e de estilo consistente.
• Pode auxiliar e expandir a criação de conteúdo em diversas áreas, como ginástica rítmica e performance teatral.

À medida que os cientistas gradualmente aproximam os computadores dos níveis de inteligência humanos, eles começaram a lidar com alguns empreendimentos muito humanos. Certamente chegamos a um ponto em que a inteligência artificial pode ajudar os coreógrafos a misturar as coisas, sugerindo milhares de estilos diferentes.

Recentemente, pesquisadores da Universidade da Califórnia desenvolveram um modelo de aprendizado profundo para gerar novos passos de dança realistas, diversos e com estilo consistente. Ele contém uma estrutura de aprendizagem de síntese por análise para gerar dança de correspondência de batida a partir da música.

Construir essa estrutura de música para dançar é uma tarefa desafiadora, mas pode ajudar e expandir a criação de conteúdo em várias áreas, como patinação artística, ginástica rítmica e performance teatral.

O núcleo do coreógrafo de IA

Para sintetizar a dança a partir da música, os pesquisadores desenvolveram uma estrutura de decomposição para composição, que primeiro aprende como se mover (na fase de decomposição) e, em seguida, como organizar os movimentos básicos em uma sequência (na fase de composição).

Na primeira fase, eles extraíram batidas de movimento de uma sequência de dança, usando um detector de batidas cinemático. Cada sequência de dança é então normalizada temporariamente em uma série de unidades de dança. As unidades de dança individuais foram desembaraçadas em poses e movimentos iniciais.

Referência:arXiv:1911.02001 | GitHub

Na segunda fase, os pesquisadores propuseram um modelo de música para movimento para criar uma sequência de movimentos que correspondesse à música de entrada. Em tempo de execução, eles extraíram as informações de batida e estilo e, em seguida, produziram sequencialmente uma série de unidades de dança de acordo com o estilo musical. Finalmente, eles distorceram as unidades de dança por meio de batidas de áudio extraídas.

Para treinar a rede, a equipe coletou mais de 360 ​​mil videoclipes, totalizando 71 horas. Esses vídeos incluíram três categorias de dança:Hip-Hop, Zumba e Ballet.

Para processar poses diferentes, eles usaram o OpenPose, um sistema multi-pessoa em tempo real para detectar conjuntamente os pontos-chave do corpo humano, face, mão e pé em imagens individuais. E para avaliação de desempenho, eles usaram diferentes métricas para examinar a consistência do estilo, realismo, diversidade e correspondência de batida.

Mapeando danças geradas em vídeos foto-realistas | Cortesia de pesquisadores

Os pesquisadores também sintetizaram sequências de pose em vídeos foto-realistas para melhor visualizar os resultados. O conjunto de dados de dança e música emparelhados em grande escala, juntamente com o código-fonte, está disponível no GitHub.

Leia:AI pode prever o comparecimento do público ao analisar um trailer de filme

A rede adversária generativa é treinada usando a estrutura de aprendizado profundo PyTorch em GPUs NVIDIA V100. Em um futuro próximo, os pesquisadores irão adicionar mais estilos de dança (como dança em parceria) para tornar o sistema ainda melhor.