Inteligência artificial pode gerar fala a partir de atividade neural

• Os pesquisadores usam uma rede neural recorrente para ajudar as pessoas que estão paralisadas e não conseguem se comunicar.
• A rede converte a atividade neural em acústica de fala.
• Pode ajudar os pacientes a comunicar vocabulários sem restrições em um ritmo natural de fala.

Muitas condições neurológicas resultam na perda de comunicação, deixando os pacientes totalmente dependentes de dispositivos auxiliares. Esses dispositivos permitem que eles digitem frases caractere por caractere até 10 palavras por minuto. No entanto, essa velocidade é muito lenta em comparação com a conversa do dia-a-dia, que ocorre a cerca de 150 palavras por minuto.

Para permitir taxas de comunicação muito mais altas ou mesmo naturais, pesquisadores da Universidade da Califórnia em San Francisco usaram uma abordagem biomimética que enfatiza os movimentos do trato vocal e o som que eles produzem.

Eles mostraram que é possível gerar fala sintetizada diretamente a partir de sinais cerebrais. Esses sinais coordenam com precisão cerca de 100 músculos para mover os lábios, a língua, a mandíbula e a laringe, transformando a respiração em sons que eventualmente formam palavras e frases.

A equipe gravou sinais de eletrocorticografia de alta densidade de 5 participantes que estavam sendo tratados para epilepsia (um distúrbio neurológico). Todos os participantes foram convidados a ler frases em voz alta enquanto eletrodos colocados na superfície de seus cérebros mediam os sinais resultantes.

Rede Neural Recorrente

Os pesquisadores desenvolveram uma rede neural recorrente para decodificar sinais corticais com uma representação intermediária explícita da dinâmica articulatória e, eventualmente, sintetizar a fala audível.

Referência:Natureza | DOI:10.1038 / s41586-019-1119-1 | UC San Francisco

A rede neural é treinada com base no som dos participantes falando frases em voz alta, junto com os sinais corticais. Eles usaram o otimizador ADAM para treinar o algoritmo. Para o primeiro e segundo estágio de treinamento, um tamanho de lote de 256 e 25 foi usado, respectivamente.

A rede profunda e empilhada de codificador-decodificador incorporou explicitamente os sinais do cérebro para decodificar o correlato fisiológico primário da atividade neural e então o transformou em acústica de fala. Ele foi otimizado para decodificar a acústica diretamente dos eletrodos.

Síntese de fala a partir de frases faladas decodificadas neuralmente | Cortesia de pesquisadores

Este mapeamento estatístico permite a generalização com conjuntos de dados de treinamento limitados. Os pesquisadores conseguiram atingir um desempenho satisfatório com 25 minutos de fala, e o desempenho aumentou continuamente à medida que alimentavam mais dados.

O que vem a seguir?

O estudo apresenta um método avançado para lidar com um grande obstáculo colocado por pacientes que sofrem de distúrbios neurológicos. De acordo com os resultados da generalização, os falantes compartilham uma representação cinemática de espaço de estado semelhante, que é independente do falante. O conhecimento do modelo - mapeamento de cinemática para som entre os participantes - pode ser transferido.

Explorar essa representação de baixa dimensão da atividade neural de diferentes pessoas pode facilitar o aprendizado da interface cérebro-computador. As descobertas podem abrir novas portas para a realização da restauração da fala para pacientes com paralisia.

Leia:AI pode ler artigos de pesquisa e fornecer um resumo em inglês simples

A rede neural desenvolvida neste estudo fornece a capacidade de comunicar vocabulários irrestritos em uma taxa de fala natural. Esta abordagem de síntese de fala direta captura elementos prosódicos da fala, incluindo a entonação de tom, que não estão disponíveis na saída de texto. Além disso, pode ser mais fácil e intuitivo aprender a usar para pacientes nos quais o processamento cortical da articulação ainda está intacto.