O fone de ouvido rastreia expressões faciais, mesmo com uma máscara facial

Pesquisadores inventaram um fone de ouvido que pode rastrear continuamente expressões faciais completas, observando o contorno das bochechas – e pode traduzir expressões em emojis ou comandos de fala silenciosa. Com o dispositivo montado na orelha (chamado C-Face), os usuários podem expressar emoções para colaboradores online sem segurar câmeras na frente de seus rostos – uma ferramenta de comunicação especialmente útil, pois grande parte do mundo se envolve em trabalho remoto ou aprendizado.

O dispositivo é mais simples, menos intrusivo e mais capaz do que as tecnologias vestíveis montadas na orelha existentes para rastrear expressões faciais. Na tecnologia vestível anterior com o objetivo de reconhecer expressões faciais, a maioria das soluções precisava anexar sensores no rosto; mesmo com tanta instrumentação, eles só conseguiam reconhecer um conjunto limitado de expressões faciais discretas.

Com o C-Face, avatares em ambientes de realidade virtual podem expressar como seus usuários estão realmente se sentindo e os instrutores podem obter informações valiosas sobre o envolvimento dos alunos durante as aulas online. Também poderia ser usado para dirigir um sistema de computador, como um tocador de música, usando apenas pistas faciais. Como funciona detectando o movimento muscular, o C-Face pode capturar expressões faciais mesmo quando os usuários estão usando máscaras.

O dispositivo consiste em duas câmeras RGB em miniatura – câmeras digitais que capturam faixas de luz vermelha, verde e azul – posicionadas abaixo de cada orelha com fones de ouvido. As câmeras registram mudanças nos contornos faciais causadas quando os músculos faciais se movem. Ao realizar uma expressão facial, os músculos faciais esticam e contraem, empurrando e puxando a pele e afetando a tensão dos músculos faciais próximos. Este efeito faz com que o contorno das bochechas (contornos) se altere do ponto de vista da orelha.

Depois que as imagens são capturadas, elas são reconstruídas usando visão computacional e um modelo de aprendizado profundo. Como os dados brutos estão em 2D, uma rede neural convolucional – um tipo de modelo de inteligência artificial que é bom para classificar, detectar e recuperar imagens – ajuda a reconstruir os contornos em expressões. O modelo traduz as imagens das bochechas em 42 pontos de características faciais, ou pontos de referência, representando as formas e posições da boca, olhos e sobrancelhas, já que essas características são as mais afetadas pelas mudanças de expressão.

Por causa das restrições causadas pela pandemia do COVID-19, os pesquisadores puderam testar o dispositivo em apenas nove participantes. Eles compararam seu desempenho com uma biblioteca de visão computacional de última geração, que extrai marcos faciais da imagem de um rosto inteiro capturada por câmeras frontais. O erro médio dos pontos de referência reconstruídos foi inferior a 0,8 mm.

Essas expressões faciais reconstruídas representadas por 42 pontos de recurso também podem ser traduzidas em oito emojis, incluindo “natural” e “raiva”, bem como oito comandos de fala silenciosos projetados para controlar um dispositivo de música como “tocar”, “próxima música” e “ aumentar o volume."

A capacidade de direcionar dispositivos usando expressões faciais pode ser útil para trabalhar em espaços de trabalho compartilhados, por exemplo, onde as pessoas podem não querer incomodar os outros falando em voz alta. A tradução de expressões em emojis pode ajudar as colaborações de realidade virtual a se comunicarem com mais facilidade.

Uma limitação do C-Face é a capacidade limitada da bateria dos fones de ouvido. Como próximo passo, a equipe planeja trabalhar em uma tecnologia de detecção que use menos energia.