IA Traduz Sinais Neurais em Fala Natural para Pacientes Paralizados

Rede Neural Recorrente Sintetiza Fala Audível Diretamente da Atividade Cortical

Muitas condições neurológicas causam perda de comunicação, forçando pacientes a depender de dispositivos assistivos (digitação caractere por caractere, ~10 palavras/min). Conversa cotidiana: ~150 palavras/min.

Para taxas de comunicação naturais/maiores, pesquisadores da UC San Francisco usaram abordagem biomimética enfatizando movimentos do trato vocal e sons produzidos. Demonstraram: possível gerar fala sintetizada diretamente de sinais cerebrais que coordenam ~100 músculos (lábios, língua, mandíbula, laringe) moldando respiração em sons → palavras/frases.

Gravam sinais eletrocorticografia alta densidade de 5 participantes em tratamento de epilepsia. Todos leram frases em voz alta enquanto eletrodos na superfície cerebral mediam sinais resultantes.

Rede Neural Recorrente: Decodificação em Dois Estágios

Desenvolveram RNN para decodificar sinais corticais com representação intermediária explícita da dinâmica articulatória, sintetizando fala audível.

• Treinada no som dos participantes falando frases + sinais corticais.
• Otimizador ADAM. Batch size: 256 (estágio 1), 25 (estágio 2).
• Rede deep encoder-decoder empilhada incorpora explicitamente sinais cerebrais → decodifica correlato fisiológico primário da atividade neural → transforma em acústica da fala.
• Otimizada para decodificar acústica diretamente dos eletrodos.

Mapeamento estatístico permite generalização com datasets limitados. Desempenho satisfatório com 25 minutos de fala; melhoria contínua com mais dados.

Futuro: Interface Cérebro-Computador para Restauração da Fala

Falantes compartilham representação similar de espaço de estado cinemático (independente do falante). Conhecimento do modelo — mapeamento cinemática→som entre participantes — transferível.

Acesso a essa representação de baixa dimensionalidade de atividade neural de diferentes pessoas facilita aprendizado de interface cérebro-computador. Abre portas para restauração da fala em pacientes paralisados.

Rede neural fornece capacidade de comunicar vocabulário irrestrito em taxa natural. Síntese direta captura elementos prosódicos (entonação, pitch) indisponíveis em saída textual. Pode ser mais fácil/intuitivo para pacientes com processamento cortical de articulação intacto.

Referência: Nature | DOI:10.1038/s41586-019-1119-1 | UC San Francisco