Facebook Revela MelNet: IA Que Replica Qualquer Voz com Precisão Assustadora

Houve enormes avanços em técnicas de machine learning nos últimos anos. Estas técnicas funcionaram muito bem no reconhecimento de objetos, faces e geração de imagens realistas.

No entanto, quando se trata de áudio, a inteligência artificial é algo decepcionante. Mesmo os melhores sistemas de texto-para-fala carecem de características básicas, como mudanças de entonação. Você já ouviu a voz gerada por máquina de Stephen Hawking? Às vezes, fica realmente difícil entender suas frases.

Agora, cientistas da Facebook AI Research desenvolveram um método para superar as limitações dos sistemas de texto-para-fala existentes. Construíram um modelo generativo — chamado MelNet — que pode produzir entonação humana com precisão assustadora. De fato, pode falar fluentemente com a voz de qualquer pessoa.

Como o MelNet Difere da Fala de Máquina Existente?

A maioria dos algoritmos de deep-learning são treinados em grandes bancos de dados de áudio para regenerar padrões reais de fala. O maior problema com esta metodologia é o tipo de dados. Tipicamente, estes algoritmos são treinados em gravações de forma de onda de áudio, que têm estruturas complexas em escalas de tempo drasticamente variadas.

Estas gravações representam como a amplitude do som varia com o tempo: um segundo de áudio contém dezenas de milhares de passos de tempo. Tais formas de onda refletem padrões particulares em várias escalas diferentes.

Modelos generativos existentes de formas de onda (como SampleRNN e WaveNet) só podem retropropagar através de uma fração de segundo. Portanto, não conseguem capturar a estrutura de alto nível que emerge na escala de vários segundos.

O MelNet, por outro lado, usa espectrogramas (em vez de formas de onda de áudio) para treinar redes de deep-learning. Espectrogramas são representações 2D tempo-frequência que mostram todo o espectro de frequências de áudio e como elas variam com o tempo.

Enquanto formas de onda de domínio temporal 1D capturam a mudança ao longo do tempo de uma variável (amplitude), espectrogramas capturam a mudança sobre diferentes frequências. Assim, a informação de áudio é empacotada mais densamente em espectrogramas.

Isso permite que o MelNet produza amostras de fala e música incondicionais com consistência por vários segundos. Também é capaz de geração de fala condicional e síntese de texto-para-fala, inteiramente ponta a ponta.

Para reduzir perda de informação e limitar super-suavização, modelaram espectrogramas de alta resolução e usaram um modelo autoregressivo altamente expressivo, respectivamente.

Resultados São Impressionantes

Pesquisadores treinaram o MelNet em numerosas palestras TED, e ele foi então capaz de regenerar a voz do falante dizendo frases aleatórias por alguns segundos. Abaixo estão dois exemplos do MelNet usando a voz de Bill Gates para dizer frases aleatórias.

1. "Porto é um vinho forte com gosto defumado."
2. "Franzimos a testa quando os eventos tomam um rumo ruim."

Mais exemplos estão disponíveis no GitHub.

Embora o MelNet crie clipes de áudio notavelmente realistas, não consegue gerar frases mais longas ou parágrafos. No entanto, o sistema poderia melhorar a interação computador-humano.

Muitas conversas de atendimento ao cliente envolvem frases curtas. O MelNet pode ser usado para automatizar tais interações ou substituir o atual sistema de voz automatizado para melhorar a experiência do chamador.

Em nota negativa, a tecnologia levanta o espectro de uma nova era de conteúdo de áudio falso. E como outros avanços em inteligência artificial, levanta mais questões éticas do que respostas.