Monitoramento de Saúde em Tempo Real com Câmeras de Smartphone e Computador

Telemedicina tornou-se uma forma crítica para médicos ainda fornecerem cuidados de saúde enquanto minimizam contato presencial durante COVID-19. Mas com consultas por telefone ou online, é mais difícil para médicos obterem sinais vitais importantes de um paciente, como pulso ou taxa de respiração, em tempo real.

Um método usa a câmera do smartphone ou computador de uma pessoa para capturar seu pulso e sinal de respiração a partir de um vídeo em tempo real de seu rosto. Para que aprendizado de máquina seja útil em sensoriamento remoto de saúde, o sistema deve identificar a região de interesse em um vídeo que contém a fonte mais forte de informação fisiológica — como pulso — e então medir isso ao longo do tempo. Como cada pessoa é diferente, o sistema deve se adaptar rapidamente à assinatura fisiológica única de cada pessoa e separar isso de outras variações, como sua aparência e ambiente em que estão.

O sistema da equipe é preservador de privacidade — roda no dispositivo em vez de na nuvem — e usa aprendizado de máquina para capturar mudanças sutis em como a luz reflete no rosto de uma pessoa, o que está correlacionado com fluxo sanguíneo em mudança. Então converte estas mudanças em tanto pulso quanto taxa de respiração.

A primeira versão deste sistema foi treinada com um conjunto de dados que continha tanto vídeos de rostos de pessoas quanto informação "ground truth": pulso e taxa de respiração de cada pessoa medidos por instrumentos padrão em campo. O sistema então usou informação espacial e temporal dos vídeos para calcular ambos os sinais vitais. Superou sistemas de aprendizado de máquina similares em vídeos onde sujeitos estavam se movendo e falando. Mas enquanto o sistema funcionava bem em alguns conjuntos de dados, ainda lutava com outros que continham pessoas, fundos e iluminação diferentes — um problema comum conhecido como "overfitting".

Os pesquisadores melhoraram o sistema fazendo-o produzir um modelo de aprendizado de máquina personalizado para cada indivíduo. Especificamente, ajuda a procurar áreas importantes em um quadro de vídeo que provavelmente contêm características fisiológicas correlacionadas com fluxo sanguíneo em mudança em um rosto sob diferentes contextos, como diferentes tons de pele, condições de iluminação e ambientes. A partir daí, pode focar nessa área e medir pulso e taxa de respiração.

Embora este novo sistema supere seu predecessor quando dado conjuntos de dados mais desafiadores, especialmente para pessoas com tons de pele mais escuros, ainda há mais trabalho a fazer. Ainda há uma tendência para desempenho inferior quando o tipo de pele do sujeito é mais escuro, em parte porque a luz reflete diferentemente de pele mais escura, resultando em um sinal mais fraco para a câmera captar.

Qualquer capacidade de sentir pulso ou taxa de respiração remotamente fornece novas oportunidades para cuidados remotos de pacientes e telemedicina. Isso poderia incluir auto-cuidado, cuidados de acompanhamento ou triagem, especialmente quando alguém não tem acesso conveniente a uma clínica.