Novo algoritmo combina perfeitamente quaisquer dois sinais de áudio

• Um novo algoritmo gera o efeito de portamento entre quaisquer dois sinais de áudio em tempo real.
• Ele combina perfeitamente segmentos de frequência de um sinal de áudio para outro, sem aumentar / diminuir o volume dos sinais.

Os músicos usam um efeito chamado ‘portamento’ para fazer a transição entre as notas. É uma técnica de deslizar de uma nota para outra sem realmente definir as notas intermediárias.

Músicos usam o portamento há mais de 200 anos. No entanto, tipos limitados de instrumentos podem obter esse efeito. Estes são os instrumentos que podem variar continuamente em altura, como o violino ou a voz humana.

Recentemente, um aluno do MIT - Trevor Henderson - desenvolveu um algoritmo que gera o efeito de portamento entre quaisquer dois sinais de áudio em tempo real. Ele demonstrou a capacidade do algoritmo mesclando diferentes clipes de áudio, como uma música se mesclando a outra e uma nota de piano se transformando em uma voz humana.

Como funciona o algoritmo?

O algoritmo é baseado em uma estrutura baseada em geometria centenária conhecida como ‘transporte ideal’. A estrutura determina as maneiras ideais de mover pontos de dados entre várias configurações de origem e destino. Ele foi aplicado à modelagem 3D, alinhamento de imagem, dinâmica de fluidos e computação gráfica.

Henderson usou esta estrutura para interpolar sinais de áudio. O algoritmo funciona dividindo o sinal de áudio em pequenos segmentos (de cerca de 50 milissegundos). Em seguida, ele determina a maneira mais eficiente de mover os tons em segmentos individuais para os tons do outro sinal de áudio.

Desta forma, o algoritmo gera um deslizamento suave do efeito de portamento. Ele também preserva a fidelidade do áudio conforme as transições do sinal.

Referência:arXiv:1906.06763 | MIT

Normalmente, os efeitos de atenuação são usados ​​para suavizar a transição entre dois sinais de áudio. Este é o método tradicional em que o volume de um sinal é reduzido enquanto o volume de outro sinal aumenta.

O novo algoritmo, por outro lado, combina perfeitamente segmentos de frequência de um sinal de áudio para outro, sem aumentar / diminuir o volume dos sinais.

Essa técnica estende o portamento a vários instrumentos, inclusive polifônicos. Na verdade, ele pode ser usado para fazer a transição entre diferentes conjuntos de instrumentos ou qualquer outro par de sinais de áudio. Ele gera resultados musicais claros em tempo real.

O 'parâmetro de interpolação' pode ser controlado por um componente deslizante, como um crossfader na mesa de mixagem do DJ. Conforme você desliza o crossfader, o parâmetro muda, produzindo o efeito de portamento.



A fim de eliminar distorções, Henderson usou a ‘redesignação de frequência’, uma aplicação de uma técnica de processamento único. Ele permite que notas individuais transitem facilmente entre os sinais. Ele também desenvolveu um novo método para sintetizar novas fases para cada sinal enquanto mescla os pequenos segmentos de áudios, para que os segmentos adjacentes não interfiram uns com os outros.

Leia:Facebook AI converte música de um estilo para outro

No próximo estudo, Henderson tentará alimentar a saída do portamento de volta em sua entrada. Isso pode produzir outro efeito chamado legato, que representa um movimento fluido e contínuo entre notas diferentes.