Perguntas e respostas:plataforma converte fones de ouvido de burros para inteligentes

A diferença entre fones de ouvido inteligentes e burros é que os inteligentes vão além de tocar música – eles podem ser monitores fisiológicos e telas de toque virtuais. Xiaoran Fan, enquanto estudante de doutorado na Rutgers University, liderou uma equipe de pesquisadores que desenvolveu um método chamado HeadFi que usa fones de ouvido comuns como sensores.

Resumos técnicos: Como este projeto começou?

Fã de Xiaoran: Eu sou um audiófilo, então estou interessado em fones de ouvido. Embora fones de ouvido simples e diretos sejam usados ​​para aplicativos como mixers de estúdio e áudio doméstico, recentemente vimos fones de ouvido inteligentes da Apple, Samsung e Microsoft.

Sempre soubemos que os drivers nos fones de ouvido, em princípio, funcionam de maneira semelhante aos microfones, então, em certo sentido, eles são recíprocos. Como os microfones podem detectar sinais, isso significa que os fones de ouvido também podem fazê-lo. Portanto, embora os fones de ouvido tivessem o potencial de serem inteligentes, ninguém ainda havia usado esse QI. Esse foi o incentivo inicial que me colocou nessa direção. Além disso, meu orientador, Rich Howard, passou a vida fazendo medições de pequenos sinais, então, quando conversei com ele sobre essa ideia, ele apontou alguns métodos que eu poderia tentar. Então mergulhei e depois de muita exploração e experimentação, pudemos publicar um artigo sobre nosso trabalho.

Resumos técnicos: Como os fones de ouvido são usados ​​como microfones?

Fã: O driver em si é complicado - tem resistência, capacitância e indutância - é um sistema de impedância complexo. A tecnologia exata depende do tipo de fone de ouvido que você possui, mas basicamente todos eles são apenas transdutores que convertem sinais elétricos em sinais mecânicos. Esses transdutores podem, em princípio, operar em sentido inverso. Sinais mecânicos podem vibrar o diafragma, o que move a bobina de voz para frente e para trás para gerar sinais elétricos; então, em princípio, eles são recíprocos.

Mas o problema é que os fones de ouvido são otimizados para tocar música – o sinal de música é dominante. Embora você possa gravar um sinal de excitação externo ao mesmo tempo, ele pode ser 1000 vezes menor que o sinal de música. Então, o desafio era como fazer uma tarefa de detecção enquanto o fone de ouvido ainda está tocando música. Se não pudermos fazer isso e o usuário precisar interromper a música para usar a função de detecção, isso não será útil.

Então, fizemos algo muito interessante. Os fones de ouvido vêm em pares, com um driver esquerdo e um driver direito. Aproveitamos o fato de que os fones de ouvido são fabricados para que os drivers esquerdo e direito correspondam um ao outro. Isso significa que os sinais sonoros nos dois são equilibrados. Podemos, portanto, usar o sinal de entrada do driver esquerdo para cancelar o sinal de entrada do driver direito usando o fato de sabermos o sinal de música exato que estamos tocando para ambos os canais. Se, portanto, houver uma diferença entre as saídas dos drivers esquerdo e direito, subtrair as saídas produzirá um sinal de diferença.

Digamos que eu fale - os dois fones de ouvido capturarão minha voz, mas a voz da minha boca para o driver esquerdo e a voz da minha boca para o driver direito se propagam por canais diferentes. O canal físico entre minha voz e meu ouvido esquerdo e aquele entre minha voz e o ouvido direito não são os mesmos. Isso ocorre porque meus ossos e tecidos são estruturados de forma diferente da esquerda para a direita.

Portanto, se você fizer uma subtração, haverá uma diferença entre os drivers esquerdo e direito, que podem ser capturados. Essa subtração cancela os sinais de música, mas nos permite capturar o diferencial do sinal de detecção. Podemos usar esse pequeno pedaço de informação para fazer alguma coisa.

Resumos técnicos :Você poderia me explicar como você pode usar os fones de ouvido para medir coisas como identificar o usuário; monitoramento da frequência cardíaca; e reconhecer gestos.

Fã :Na verdade, apresentamos quatro aplicações em nosso artigo:reconhecimento de gestos, monitoramento da frequência cardíaca, identificação do usuário e também – a mais simples – comunicação por voz.

Tome como exemplo o monitoramento da frequência cardíaca. Quando você está com pressa, seu coração está bombeando – produz uma vibração mecânica em todo o corpo, que os fones de ouvido podem capturar.

Mas, assim como com a voz, os canais do seu coração para o fone de ouvido esquerdo e para o fone de ouvido direito são diferentes. Ao executar o sinal de diferença através do nosso algoritmo, podemos encontrar o período da sua frequência cardíaca.

Quanto ao reconhecimento de gestos, digamos que você toque ou toque no compartimento direito dos fones de ouvido. O motorista direito receberá o sinal de toque, mas o esquerdo receberá um sinal de toque muito mais fraco. Depois de fazer a subtração, você saberá a fase. Se a borda ascendente estiver em uma direção, isso significa que é o telefone certo, se a borda ascendente estiver na outra direção, é um toque à esquerda.

Mas existem outras formas mais avançadas de definir um gesto. Por exemplo, o sinal produzido por um arranhão será mais complicado. Nesse caso, você pode aplicar alguns métodos de aprendizado profundo para aprender o padrão de sinal para identificar o gesto.

Mas acho que a aplicação mais interessante é a identificação do usuário. A maneira como funciona é que o fone de ouvido gera um sinal de furto – passando uma banda de frequência e enviando o sinal para o ouvido. O sinal se propaga pelo canal auditivo, reflete de volta e é capturado pelo mesmo driver de fone de ouvido que o gerou. Os drivers esquerdo e direito capturam o sinal e fazem a subtração. A parte interessante é que o canal auditivo de todos tem uma estrutura diferente – é como uma impressão digital – o que significa que o eco recebido pelos fones de ouvido será diferente para todos. O que torna ainda mais interessante é que, para todos, os canais auditivos esquerdo e direito são diferentes, então se você fizer a subtração, há um sinal de diferença. E essa diferença também é diferente de pessoa para pessoa – mesmo entre gêmeos idênticos. Fizemos experimentos com gêmeos idênticos e tivemos uma taxa de sucesso de mais de 95%. Eu acho que é uma parte legal do aplicativo.

Resumos técnicos :Por que você usa um sinal de alta frequência?

Fã :A razão pela qual geramos uma alta frequência é porque é como uma tomografia computadorizada - uma tomografia computadorizada ultrassônica. Passamos uma faixa de frequências porque nosso canal auditivo possui estruturas diferentes que frequências mais altas podem explorar com melhor resolução, a fim de identificar a forma distinta de um canal auditivo específico. Varremos as frequências para encontrar aquela que nos dá os melhores resultados para aquele ouvido.

Resumos técnicos :como você gera o sinal de varredura?

Fã :Um gerador de chirp está incluído em nosso software.

Temos um processo totalmente automatizado. Existem duas etapas. O primeiro passo é detectar se seus fones de ouvido estão em sua cabeça, então você executa o aplicativo.

Usamos um truque interessante para verificar se os fones de ouvido estão na sua cabeça. É baseado no efeito concha. Quando você está andando na praia, se você pegar uma concha e prendê-la perto de seu ouvido, você ouvirá algo como um barulho do mar. Isso porque a concha do mar e seu canal auditivo formam um compartimento semi-selado de espaço que ressoa e amplifica alguma frequência.

É o mesmo com fones de ouvido. Quando você tem os fones de ouvido no ouvido, alguma frequência foi amplificada e podemos detectar se o fone de ouvido está ou não no ouvido simplesmente observando a intensidade do sinal em várias frequências. Se o fone de ouvido estiver na sua cabeça, começamos a enviar um sinal sonoro.

Mas não estamos limitados a essas quatro aplicações. Também poderíamos fazer medições como contagem de passos e monitoramento da respiração.

Resumos técnicos :Como você saberia se uma entrada é de passos ou de respiração?

Fã :os sinais seriam diferentes uns dos outros para que você pudesse usar um modelo de aprendizado profundo para distingui-los.

Isso também pode ser usado para idosos. Pode reconhecer se uma pessoa caiu, então devemos ligar para o 911. Também estamos planejando trabalhar nisso.

A principal contribuição intelectual para o nosso projeto é que apresentamos uma plataforma que pode tornar os fones de ouvido de estoque inteligentes, o que permite uma variedade de aplicações possíveis. Em alto nível, essa tecnologia pode permitir uma interface humana/fone de ouvido/rede onipresente, porque muitos fones de ouvido "burros" existentes podem se beneficiar do HeadFi.

Resumos técnicos :Quando você diz plataforma, quer dizer software?

Fã :É uma solução de software/hardware. O hardware é uma ponte de Wheatstone para fazer o cancelamento entre os drivers esquerdo e direito. Depois disso, precisamos fazer o processamento de sinal para tarefas como classificação, incluindo suporte para máquina vetorial ou estruturas de aprendizado profundo. Portanto, embora seja uma solução combinada de software/hardware, o hardware pode ser extremamente simples — tão simples quanto apenas dois resistores.

Resumos técnicos :Você tem um adaptador que pode ser conectado?

Fã :Sim, esse é o nosso protótipo atual do hardware.

Resumos técnicos :E então você teria que criar um aplicativo para baixar a carga no smartphone?

Fã :Sim, o adaptador que estamos usando atualmente tem uma conexão USB Tipo C, que é bastante comum em fones de ouvido e celulares atualmente.

Resumos técnicos :você tem uma ideia aproximada de quando isso pode ser comercializado?

Fã :Estamos usando o site do centro de comercialização da Rutgers para procurar um parceiro neste momento e estamos explorando parceiros em potencial como Apple, Samsung ou Microsoft. Também estamos desenvolvendo hardware atualizado, já que nosso adaptador atual é apenas uma placa de circuito impresso aberta. Até agora, conseguimos reduzir o tamanho da placa neste momento para 3 cm x 2 cm. Nosso objetivo é torná-lo plug and play e também estamos escrevendo um software Android para facilitar a demonstração.

Uma versão editada desta entrevista foi publicada na edição de maio de 2021 do Tech Briefs.