Do Básico ao Inteligente: HeadFi Transforma Fones de Ouvido Comuns em Monitores de Saúde Multifuncionais

A diferença entre fones de ouvido inteligentes e "burros" é que os inteligentes vão além de tocar música — eles podem ser monitores fisiológicos e telas de toque virtuais. Xiaoran Fan, enquanto doutorando na Universidade Rutgers, liderou uma equipe de pesquisadores que desenvolveu um método chamado HeadFi, que utiliza fones de ouvido comuns como sensores.

Tech Briefs: Como este projeto começou?

Xiaoran Fan: Sou um audiófilo, então sempre me interessei por fones de ouvido. Embora fones simples sejam usados em aplicações como mesas de mixagem de estúdio e áudio doméstico, recentemente temos visto fones inteligentes da Apple, Samsung e Microsoft.

Sempre soubemos que os drivers dos fones de ouvido, em princípio, funcionam de forma semelhante a microfones, sendo, em certo sentido, recíprocos. Como microfones podem captar sinais, isso significa que fones de ouvido também podem fazer isso por padrão. Portanto, embora os fones tivessem o potencial de serem inteligentes, ninguém havia aproveitado essa capacidade. Esse foi o incentivo inicial que me levou nessa direção. Além disso, meu orientador, Rich Howard, passou a vida fazendo medições de sinais pequenos, então quando conversei com ele sobre essa ideia, ele apontou alguns métodos que eu poderia tentar. Então mergulhei de cabeça e, após muita exploração e experimentação, conseguimos publicar um artigo sobre nosso trabalho.

Tech Briefs: Como os fones de ouvido são usados como microfones?

Fan: O próprio driver é complexo — tem resistência, capacitância e indutância — é um sistema de impedância complexa. A tecnologia exata depende do tipo de fone de ouvido, mas basicamente todos são apenas transdutores que convertem sinais elétricos em mecânicos. Esses transdutores podem, em princípio, operar no sentido inverso. Sinais mecânicos poderiam vibrar o diafragma, movendo a bobina de voz para frente e para trás para gerar sinais elétricos; portanto, em princípio, são recíprocos.

Mas o problema é que os fones são otimizados para tocar música — o sinal de música é dominante. Embora você possa gravar um sinal de excitação externo ao mesmo tempo, ele pode ser 1000 vezes menor que o sinal de música. O desafio era como realizar uma tarefa de sensoriamento enquanto o fone ainda toca música. Se não conseguirmos fazer isso e o usuário tiver que parar a música para usar a função de sensoriamento, isso não é útil.

Por isso, fizemos algo muito interessante. Fones vêm em pares, com um driver esquerdo e um direito. Aproveitamos o fato de que os fones são fabricados para que os drivers esquerdo e direito correspondam um ao outro. Isso significa que os sinais de som nos dois são balanceados. Podemos, portanto, usar o sinal de entrada do driver esquerdo para cancelar o sinal de entrada do driver direito, usando o fato de conhecermos o sinal exato de música que estamos tocando em ambos os canais. Se, portanto, houver uma diferença entre as saídas dos drivers esquerdo e direito, a subtração das saídas produzirá um sinal de diferença.

Digamos que eu fale — os dois fones capturarão minha voz, mas a voz da minha boca para o driver esquerdo e para o driver direito se propaga por canais diferentes. O canal físico entre minha voz e meu ouvido esquerdo e o entre minha voz e o ouvido direito não são iguais. Isso ocorre porque meus ossos e tecidos são estruturados de forma diferente da esquerda para a direita.

Então, se fizermos a subtração, haverá uma diferença entre os drivers esquerdo e direito, que pode ser capturada. Essa subtração cancela os sinais de música, mas nos permite capturar o sinal diferencial de sensoriamento. Podemos usar esse pequeno pedaço de informação para fazer algo.

Tech Briefs: Poderia explicar como usar os fones para medir coisas como identificar o usuário, monitorar frequência cardíaca e reconhecer gestos?

Fan: Apresentamos quatro aplicações em nosso artigo: reconhecimento de gestos, monitoramento de frequência cardíaca, identificação de usuário e também — a mais simples — comunicação por voz.

Tomemos o monitoramento de frequência cardíaca como exemplo. Quando você está com pressa, seu coração está batendo — produz uma vibração mecânica por todo o corpo, que os fones podem captar.

Mas, assim como com a voz, os canais do seu coração para o fone esquerdo e para o direito são diferentes. Ao passar o sinal de diferença pelo nosso algoritmo, podemos encontrar o período da sua frequência cardíaca.

Quanto ao reconhecimento de gestos, digamos que você toque ou bata no invólucro direito dos fones. O driver direito receberá o sinal de toque, mas o esquerdo receberá um sinal de toque muito mais fraco. Após a subtração, você saberá a fase. Se a borda de subida estiver em uma direção, significa que é o fone direito; se estiver na outra direção, é um toque no esquerdo.

Mas existem outras formas mais avançadas de definir um gesto. Por exemplo, o sinal produzido por um arranhão será mais complicado. Nesse caso, você pode aplicar métodos de deep learning para aprender o padrão do sinal e identificar o gesto.

Acho que a aplicação mais interessante é a identificação de usuário. Funciona assim: o fone gera um sinal de varredura — varrendo uma banda de frequência e enviando o sinal para o seu ouvido. O sinal se propaga pelo canal auditivo, reflete de volta e é capturado pelo mesmo driver que o gerou. Os drivers esquerdo e direito capturam o sinal e fazem a subtração. A parte interessante é que o canal auditivo de cada pessoa tem uma estrutura diferente — é como uma impressão digital — então o eco recebido pelos fones será diferente para cada um. O que torna ainda mais interessante é que, para cada pessoa, os canais auditivos esquerdo e direito são diferentes, então, se fizermos a subtração, há um sinal de diferença. E essa diferença também é diferente de pessoa para pessoa — até entre gêmeos idênticos. Fizemos experimentos com gêmeos idênticos e tivemos uma taxa de sucesso superior a 95%. Acho que essa é a parte mais legal da aplicação.

Tech Briefs: Por que vocês usam um sinal de alta frequência?

Fan: A razão pela qual geramos uma alta frequência é porque é uma espécie de tomografia computadorizada — uma tomografia ultrassônica. Varríamos uma faixa de frequências porque nosso canal auditivo tem diferentes estruturas que frequências mais altas podem explorar com melhor resolução, a fim de identificar a forma distinta de um canal auditivo específico. Varríamos as frequências para encontrar a que nos dá os melhores resultados para aquele ouvido.

Tech Briefs: Como vocês geram o sinal de varredura?

Fan: Um gerador de chirp está incluído no nosso software.

Temos um processo totalmente automatizado. Há duas etapas. A primeira é detectar se os fones estão na sua cabeça, então você executa a aplicação.

Usamos um truque interessante para verificar se os fones estão na sua cabeça. Baseia-se no efeito concha. Quando você caminha na praia, se pegar uma concha e a encostar no ouvido, ouve algo como um ruído do mar. Isso ocorre porque a concha e seu canal auditivo formam um recinto semi-vedado que ressoa e amplifica alguma frequência.

O mesmo acontece com fones. Quando você tem os fones no ouvido, alguma frequência foi amplificada e podemos detectar se o fone está no seu ouvido simplesmente observando a força do sinal em várias frequências. Se o fone estiver na sua cabeça, começamos a enviar um chirp.

Mas não estamos limitados a essas quatro aplicações. Também poderíamos fazer medições como contagem de passos e monitoramento de respiração.

Tech Briefs: Como saberiam se uma entrada vem de passos ou de respiração?

Fan: Os sinais seriam diferentes um do outro, então você poderia usar um modelo de deep learning para distingui-los.

Isso também poderia ser usado para cuidados com idosos. Poderia reconhecer se uma pessoa caiu, para que chamássemos o 192. Também estamos planejando trabalhar nisso.

A contribuição intelectual central do nosso projeto é que apresentamos uma plataforma que pode tornar fones de ouvido comuns inteligentes, permitindo uma gama de aplicações possíveis. Em alto nível, essa tecnologia pode permitir uma interface ubíqua humano/fone/redes porque tantos fones "burros" existentes poderiam se beneficiar do HeadFi.

Tech Briefs: Quando você diz plataforma, quer dizer software?

Fan: É uma solução de software/hardware. O hardware é uma ponte de Wheatstone para fazer o cancelamento entre os drivers esquerdo e direito. Depois, precisamos fazer processamento de sinal para tarefas como classificação, incluindo suporte para máquina de vetores de suporte ou frameworks de deep learning. Então, embora seja uma solução combinada de software/hardware, o hardware pode ser extremamente simples — tão simples quanto apenas dois resistores.

Tech Briefs: Vocês têm um adaptador que se conecta?

Fan: Sim, esse é nosso protótipo atual de hardware.

Tech Briefs: E então vocês teriam que projetar um aplicativo para baixar no smartphone?

Fan: Sim, o adaptador que estamos usando atualmente tem conexão USB Tipo C, que é bastante comum com fones e celulares agora.

Tech Briefs: Vocês têm uma ideia aproximada de quando isso pode se tornar comercial?

Fan: Estamos usando o site do centro de comercialização da Rutgers para buscar um parceiro no momento e explorando parceiros potenciais como Apple, Samsung ou Microsoft. Também estamos desenvolvendo hardware atualizado, já que nosso adaptador atual é apenas uma placa de circuito impresso aberta. Até agora, conseguimos reduzir o tamanho da placa para 3 cm x 2 cm. Estamos visando torná-lo plug-and-play e também escrevendo software Android para facilitar a demonstração.

Uma versão editada desta entrevista apareceu na edição de maio de 2021 da Tech Briefs.

Avaliando Desempenho de Sinalização Óptica Directamente Modulada a 800 Gbps Sensor Avançado de Posição Rotativa RFID para Rastreamento Angular Preciso