DeepLabCut:Uma IA de código aberto para rastrear partes do corpo de espécies em movimento

• Novo algoritmo baseado em aprendizagem profunda rastreia e rotula partes do corpo de espécies em movimento usando dados de treinamento mínimos.
• Não requer nenhum modelo de corpo computacional, dados de tempo e bonecos palitos.

Para entender o cérebro de qualquer espécie, é necessário quantificar com precisão seu comportamento. O rastreamento de vídeo é uma das melhores opções para observar e registrar o comportamento animal em diferentes configurações. Ele simplifica muito a análise e permite o rastreamento de alta precisão de partes do corpo.

No entanto, extrair aspectos específicos de um comportamento para investigação detalhada pode ser um processo tedioso e demorado. O rastreamento baseado em computador existente usa marcação reflexiva (partes do corpo são destacadas com marcadores), onde a posição e o número de marcadores devem ser determinados antes da gravação.

Agora, pesquisadores da Universidade de Harvard e da Universidade de Tübingen desenvolveram uma ferramenta de IA chamada DeepLabCut que rastreia e rotula automaticamente partes do corpo de espécies em movimento. Esta técnica de estimativa de pose sem marcador é baseada em métodos de aprendizado profundo que fornecem resultados decentes com dados de treinamento mínimos.

O que exatamente eles fizeram?

Os pesquisadores examinaram a arquitetura do detector de recursos a partir de um modelo de estimativa de pose de várias pessoas desenvolvido recentemente, o DeeperCut. Eles mostraram que uma pequena quantidade de fotos de treinamento (cerca de 200) é suficiente para treinar essa rede neural para atingir uma precisão humana.

Isso se tornou possível com o aprendizado de transferência, um método de aprendizado de máquina em que um modelo treinado em uma tarefa é aplicado a outra tarefa relacionada. Nesta pesquisa, os detectores de recursos baseados em redes neurais intensamente profundas foram pré-treinados em um conjunto de dados gigante (ImageNet) para reconhecer objetos.

Portanto, pode-se treinar esses detectores de recursos robustos rotulando menos quadros (algumas centenas). Uma vez treinado, ele pode localizar uma ampla gama de partes do corpo experimentalmente relevantes.

Os pesquisadores demonstraram a capacidade do DeepLabCut rastreando orelhas, focinho e base da cauda durante uma tarefa de navegação guiada por odores. Eles também rastrearam várias partes de uma mosca de fruta em uma câmara 3D.



As redes neurais são treinadas nas GPUs NVIDIA Titan Xp e GeForce GTX 1080 Ti com TensorFlow acelerado pela estrutura de aprendizado profundo CUDA. Usando um hardware tão poderoso, pode-se processar quadros de tamanho 682 * 540 a 30 fps.

A ferramenta é capaz de fornecer feedback em tempo real com base em estimativas posturais extraídas de videografia. Além disso, pode-se recortar quadros de entrada de forma adaptativa em torno da espécie para aumentar ainda mais a velocidade de processamento ou adaptar a arquitetura de rede para aumentar os tempos de processamento.

Referência:arXiv:1804.03142 | GitHub

No geral, DeepLabCut funciona em quatro estágios:

1. Extraia vários quadros de vídeo para rotulagem
2. Uso de rótulos para gerar dados de treinamento
3. Treine as redes neurais de acordo com os conjuntos de recursos necessários
4. Extraia essas posições de recursos de dados não rotulados.

Cortesia de pesquisadores

Como isso é útil?

O método descrito acima não precisa de nenhum modelo de corpo computacional, dados de tempo, boneco ou algoritmo de inferência complicado. Ele pode ser rapidamente implantado em vários comportamentos que apresentam desafios qualitativamente diferentes para a visão computacional.

Embora os pesquisadores tenham demonstrado DeepLabCut em Drosophila, camundongos e cavalos, certamente não há limitações no método, e ele pode ser aplicado a outras espécies também.

Leia:IA com filtragem de spam aprende o comportamento de um animal 28

Rastrear animais por meio de videografia pode revelar novos insights sobre sua biomecânica e nos ajudar a entender como seu cérebro funciona. Em humanos, pode melhorar as técnicas usadas na fisioterapia e ajudar os atletas a alcançar marcos que não eram possíveis no passado.