O sistema usa câmeras de smartphone ou computador para medir a saúde

A telessaúde tornou-se uma maneira crítica para os médicos ainda fornecerem assistência médica, minimizando o contato pessoal durante o COVID-19. Mas com consultas por telefone ou on-line, é mais difícil para os médicos obter sinais vitais importantes de um paciente, como pulso ou frequência respiratória, em tempo real.

Um método usa a câmera do smartphone ou computador de uma pessoa para obter o sinal de pulso e respiração de um vídeo em tempo real de seu rosto. Para que o aprendizado de máquina seja útil no sensoriamento remoto de saúde, o sistema deve identificar a região de interesse em um vídeo que contém a fonte mais forte de informações fisiológicas – como pulso – e depois medir isso ao longo do tempo. Como cada pessoa é diferente, o sistema deve se adaptar rapidamente à assinatura fisiológica única de cada pessoa e separá-la de outras variações, como a aparência e o ambiente em que estão.

O sistema da equipe preserva a privacidade – é executado no dispositivo em vez de na nuvem – e usa aprendizado de máquina para capturar mudanças sutis na forma como a luz reflete no rosto de uma pessoa, o que está correlacionado com a mudança do fluxo sanguíneo. Em seguida, converte essas alterações em frequência de pulso e respiração.

A primeira versão desse sistema foi treinada com um conjunto de dados que continha vídeos de rostos de pessoas e informações “verdadeiras”:o pulso e a taxa de respiração de cada pessoa medidos por instrumentos padrão em campo. O sistema então usou informações espaciais e temporais dos vídeos para calcular os dois sinais vitais. Ele superou sistemas semelhantes de aprendizado de máquina em vídeos em que os sujeitos estavam se movendo e falando. Mas, embora o sistema tenha funcionado bem em alguns conjuntos de dados, ele ainda teve problemas com outros que continham diferentes pessoas, origens e iluminação – um problema comum conhecido como “overfitting”.

Os pesquisadores melhoraram o sistema fazendo com que ele produzisse um modelo de aprendizado de máquina personalizado para cada indivíduo. Especificamente, ele ajuda a procurar áreas importantes em um quadro de vídeo que provavelmente contêm características fisiológicas correlacionadas com a mudança do fluxo sanguíneo em um rosto em diferentes contextos, como diferentes tons de pele, condições de iluminação e ambientes. A partir daí, ele pode se concentrar nessa área e medir o pulso e a taxa de respiração.

Embora esse novo sistema supere seu antecessor quando recebe conjuntos de dados mais desafiadores, especialmente para pessoas com tons de pele mais escuros, ainda há mais trabalho a fazer. Ainda há uma tendência de desempenho inferior quando o tipo de pele do sujeito é mais escuro, em parte porque a luz reflete de forma diferente da pele mais escura, resultando em um sinal mais fraco para a câmera captar.

Qualquer capacidade de detectar a frequência de pulso ou respiração remotamente oferece novas oportunidades para atendimento remoto ao paciente e telemedicina. Isso pode incluir autocuidado, acompanhamento ou triagem, especialmente quando alguém não tem acesso conveniente a uma clínica.