DeepLabCut: IA Open-Source para Rastreamento Preciso de Partes do Corpo em Animais em Movimento

Estimativa de Pose Sem Marcadores com Deep Learning e Poucos Dados de Treino (~200 frames)

Para entender cérebro de qualquer espécie, necessário quantificar comportamento com precisão. Videotracking = melhor opção para observar/registrar comportamento animal. Simplifica análise e permite rastreamento de alta precisão.

Extrair aspectos específicos para investigação detalhada = tedioso e demorado. Rastreamento computacional existente usa marcação reflexiva (partes do corpo destacadas com marcadores), onde posição/número de marcadores deve ser determinado antes da gravação.

DeepLabCut: Transfer Learning de DeeperCut

Pesquisadores de Harvard e Universidade de Tübingen desenvolveram DeepLabCut: ferramenta IA que rastreia e rotula automaticamente partes do corpo de espécies em movimento. Técnica sem marcadores baseada em deep learning com bons resultados com dados mínimos de treino.

Examinaram arquitetura de detector de features de modelo multi-pessoa DeeperCut. Mostraram: ~200 fotos de treino suficientes para treinar rede neural com precisão humana.

Possibilitado por transfer learning: modelo treinado em uma tarefa aplicado a outra relacionada. Detectores de features baseados em redes neurais profundas intensivas pré-treinados no ImageNet (dataset gigante) para reconhecer objetos. Portanto, detectores robustos treinados rotulando poucos frames (centenas). Uma vez treinado, localiza ampla gama de partes do corpo experimentalmente relevantes.

Demonstrações e Performance

• Rastreou orelhas, focinho, base da cauda em tarefa de navegação guiada por odores.
• Rastreou várias partes de mosca-das-frutas em câmara 3D.
• Redes treinadas em GPUs NVIDIA Titan Xp e GeForce GTX 1080 Ti com TensorFlow acelerado por CUDA.
• Processa frames 682×540 a 30 fps.
• Feedback em tempo real baseado em estimativas de postura de videografia.
• Recorte adaptativo de frames ao redor da espécie → velocidade ↑; adaptação de arquitetura → tempos de processamento ↑.

4 Estágios do DeepLabCut

1. Extrair múltiplos frames do vídeo para rotulagem.
2. Usar rótulos para gerar dados de treino.
3. Treinar redes neurais conforme features requeridas.
4. Extrair posições desses features de dados não rotulados.

Por Que É Útil

Não precisa: modelo corporal computacional, dados temporais, stick figure, algoritmo de inferência complicado. Implantável rapidamente em múltiplos comportamentos com desafios qualitativamente diferentes para visão computacional.

Demonstrado em Drosophila, camundongos, cavalos — sem limitações de espécie. Rastreamento via videografia revela insights sobre biomecânica e função cerebral. Em humanos: melhora técnicas de fisioterapia e ajuda atletas a atingir marcos antes impossíveis.

Referência: arXiv:1804.03142 | GitHub