IA impulsiona renderização de cabelo 3D em tempo real com 30.000 fios

• Pesquisadores desenvolvem uma rede neural que pode produzir geometria de cabelo 3D completa a partir de imagens 2D. 
• A rede é capaz de renderizar até 30.000 fios de cabelo em milissegundos.
• Ele pode amostrar e interpolar suavemente uma variedade de estilos de cabelo, incluindo ondulados, cacheados e lisos. 

Renderizar cabelos realistas em máquinas é provavelmente a tarefa mais difícil na digitalização de humanos virtuais. Comparado com outros objetos como olhos, nariz e orelhas, o cabelo envolve uma ampla gama de variações de forma e pode ser extremamente complexo devido ao nível de deformabilidade de cada fio e à sua estrutura volumétrica.

Não é como se o sistema existente não pudesse gerar modelos de cabelo 3D de alta qualidade, mas eles normalmente exigem configurações específicas de hardware e software, que não são facilmente implantáveis. Algumas técnicas modernas utilizam abordagens baseadas em dados, mas não são viáveis ​​para aplicações em tempo real e sistemas com espaço de memória limitado.

Agora, pesquisadores da Microsoft, Pinscreen e University of Southern California construíram um modelo de aprendizagem profunda que pode produzir geometria de cabelo 3D completa a partir de imagens 2D em tempo real.

Em vez de sintetizar estruturas na forma de nuvens de pontos ou grades volumétricas, ele cria o fio de cabelo diretamente. Este método é mais apropriado para estruturas não múltiplas e pode fornecer maiores detalhes e precisão.

HairNet

A rede neural, que eles chamam de HairNet, é capaz de produzir e representar continuamente a geometria do cabelo em 3D. Ele pode amostrar e interpolar suavemente uma variedade de estilos de cabelo, incluindo ondulados, cacheados e retos.

O pipeline da rede neural consiste em 3 etapas:pré-processamento, geração do fio de cabelo e reconstrução.

HairNet contém um codificador convolucional para extrair características de alto nível do cabelo (na forma de vetor) de uma imagem 2D e um decodificador deconvolucional para gerar características de 32*32 fios distribuídas uniformemente no couro cabeludo. Essas características dos fios são então interpoladas no espaço do couro cabeludo, que são finalmente representados como uma série de pontos 3D.

Arquitetura de Rede | Cortesia de pesquisadores 

A fim de levar os penteados renderizados para um espaço mais plausível, os pesquisadores introduziram a “perda de reconstrução” e a “perda de colisão” entre um modelo corporal e os fios de cabelo. Eles usaram a imagem de entrada como peso para modular sua perda, o que melhorou ainda mais a precisão.

Treinamento

Os pesquisadores treinaram a rede neural em um grande conjunto de dados contendo 40 mil penteados e 160 mil imagens bidimensionais de pontos de vista aleatórios. A rede aprendeu então a regenerar cabelos 3D em diferentes estilos, cores e comprimentos, a partir de uma única foto 2D.

Renderizando cabelo a partir de uma imagem 2D usando HairNet | Cortesia de pesquisadores 

A IA foi treinada em GPUs Nvidia Titan Xp (unidades de processamento gráfico) com estrutura PyTorch alimentada pela biblioteca de rede neural profunda CUDA.

Referência: arXiv:1806.07467

Ele pode renderizar até 30.000 fios de cabelo em milissegundos. Além disso, pode imitar vídeo e renderizar cada fio – todos interagindo entre si.

Trabalho Futuro

A equipe concluiu que sua técnica ainda não é perfeita. Ele não suporta penteados exóticos como cortes afro, excêntricos ou curtos. No entanto, treinar a rede em conjuntos de dados massivos contendo mais variações poderia resolver este problema.

Leia:A IA pode colocar qualquer pessoa em qualquer pose | Sintetizando imagens humanas em poses invisíveis

A técnica também falha quando o cabelo fica levemente ocluído na imagem fornecida. Portanto, eles planejam melhorar os conjuntos de dados de treinamento no futuro, integrando mais oclusões aleatórias.