Fone de Ouvido Detecta Expressões Faciais Mesmo com Máscaras

Pesquisadores inventaram um fone de ouvido que pode rastrear continuamente expressões faciais completas observando o contorno das bochechas — e então traduzir expressões em emojis ou comandos de fala silenciosa. Com o dispositivo montado na orelha (chamado C-Face), usuários poderiam expressar emoções a colaboradores online sem segurar câmeras na frente de seus rostos — uma ferramenta de comunicação especialmente útil já que grande parte do mundo se envolve em trabalho ou aprendizado remoto.

O dispositivo é mais simples, menos intrusivo e mais capaz que tecnologias vestíveis montadas na orelha existentes para rastrear expressões faciais. Em tecnologia vestível anterior visando reconhecer expressões faciais, a maioria das soluções precisava anexar sensores no rosto; mesmo com tanta instrumentação, eles podiam apenas reconhecer um conjunto limitado de expressões faciais discretas.

Com C-Face, avatares em ambientes de realidade virtual poderiam expressar como seus usuários estão realmente se sentindo e instrutores poderiam obter informações valiosas sobre engajamento de alunos durante aulas online. Também poderia ser usado para direcionar um sistema de computador, como um tocador de música, usando apenas pistas faciais. Como funciona detectando movimento muscular, C-Face pode capturar expressões faciais mesmo quando usuários estão usando máscaras.

O dispositivo consiste em duas câmeras RGB miniaturas — câmeras digitais que capturam bandas de luz vermelha, verde e azul — posicionadas abaixo de cada orelha com fones de ouvido ou fones intra-auriculares. As câmeras registram mudanças nos contornos faciais causadas quando músculos faciais se movem. Ao realizar uma expressão facial, músculos faciais esticam e contraem, empurrando e puxando a pele e afetando a tensão de músculos faciais próximos. Este efeito faz com que o contorno das bochechas (contornos) se altere do ponto de vista da orelha.

Uma vez que as imagens são capturadas, elas são reconstruídas usando visão computacional e um modelo de aprendizado profundo. Como os dados brutos estão em 2D, uma rede neural convolucional — um tipo de modelo de inteligência artificial que é bom em classificar, detectar e recuperar imagens — ajuda a reconstruir os contornos em expressões. O modelo traduz as imagens das bochechas para 42 pontos de características faciais, ou marcos, representando as formas e posições da boca, olhos e sobrancelhas, já que essas características são as mais afetadas por mudanças de expressão.

Devido a restrições causadas pela pandemia de COVID-19, os pesquisadores puderam testar o dispositivo em apenas nove participantes. Compararam seu desempenho com uma biblioteca de visão computacional de ponta, que extrai marcos faciais da imagem de um rosto completo capturado por câmeras frontais. O erro médio dos marcos reconstruídos foi menor que 0,8 mm.

Essas expressões faciais reconstruídas representadas por 42 pontos de características também podem ser traduzidas para oito emojis incluindo “natural” e “raiva” assim como oito comandos de fala silenciosa projetados para controlar um dispositivo de música como “play”, “próxima música” e “volume up”.

A capacidade de direcionar dispositivos usando expressões faciais poderia ser útil para trabalhar em espaços de trabalho compartilhados, por exemplo, onde pessoas podem não querer perturbar outros falando alto. Traduzir expressões em emojis poderia ajudar aqueles em colaborações de realidade virtual a se comunicar mais perfeitamente.

Uma limitação do C-Face é a capacidade limitada de bateria dos fones de ouvido. Como próximo passo, a equipe planeja trabalhar em uma tecnologia de sensoriamento que use menos energia.