Integrando Microsoft Kinect com Raspberry Pi para Detecção Humana em Tempo Real no Robô Sonbi

A. Objetivo

Nosso objetivo foi embutir stack de software completo no Raspberry Pi do robô Sonbi, conectar Microsoft Kinect e habilitar robô a saudar pessoas acenando braços quando detecta humano parado frente ao sensor.

B. Sistema de Hardware

• Raspberry Pi com armazenamento flash 8 GB
• Controlador servo Pololu Maestro 24-canais
• Microsoft Kinect (câmera RGB, sensor profundidade, emissor IR, array multi-mic, acelerômetro)
• Fonte ATX 500 W
• Placas prototipagem, fiação e componentes mecânicos

Especificações Raspberry Pi

• Processador core ARM1176JZF-S 700 MHz
• 512 MB SDRAM
• Entrada energia MicroUSB 5 V
• Ethernet, HDMI e duas portas USB para periféricos
• Roda Raspbian OS – amplo suporte comunidade

Pololu Maestro 24

• 24 canais servo independentes
• Taxa pulso até 333 Hz
• Memória script até 8 KB
• Até 1,5 A por canal
• Opções entrada USB ou power-header
• Scriptável via API nativa ou firmware custom

Conectando Raspberry Pi ao Pololu

• Fiação serial TTL simples: power, ground, Tx-Rx, Rx-Tx
• Libere console serial padrão do Pi editando /etc/inittab e /boot/cmdline.txt
• Consulte este tutorial para instruções detalhadas

Features Microsoft Kinect

• Câmera RGB (resolução 1280×960) para imagens coloridas
• Emissor IR e sensor profundidade para mapeamento distância 3-D
• Array 4-mic para captura áudio e localização fonte sonora
• Acelerômetro 3-eixos (±2 G) para detecção orientação
• Range inclinação vertical: 27°
• Taxa frame: 30 fps

C. Integrando Kinect com Raspberry Pi

Como drivers nativos do Kinect são Windows-only, instalar bibliotecas requeridas num Raspberry Pi Linux-based é demorado mas essencial. Passos abaixo outline o processo.

1. Instalar Drivers Kinect

• Escolha entre Libfreenect (driver user-space) ou OpenNI (framework high-level). Instalamos ambos para máxima flexibilidade.
• Libfreenect suporta imagens RGB/profundidade, controle motor, acelerômetro e LED; suporte áudio experimental.
• OpenNI fornece SDK cross-platform para profundidade, áudio e skeleton tracking.

2. Build Libfreenect

sudo apt-get install git-core cmake pkg-config build-essential libusb-1.0-0-dev git clone https://github.com/OpenKinect/libfreenect cd libfreenect mkdir build cd build cmake -L .. make # optional: cmake --build . 

3. Build OpenNI

sudo apt-get install g++ python libusb-1.0-0-dev freeglut3-dev cd Platform/Linux/CreateRedist ./RedistMaker sudo ./install.sh # optional: make mono_wrapper && make mono_samples 

D. Stack de Software e Runtime

Robô boot script bootscript_sonbi.sh que lança módulo detecção facial:

python facedetect.py --cascade=face.xml 0 

Baixe arquivo Haar cascade pré-treinado aqui: face.xml. Script stream feed RGB do Kinect, detecta faces em tempo real e sinaliza executável Sonbi para ativar servos motores para aceno amigável.

E. Resumo de Ações

Quando humano detectado, Kinect captura imagem depth-aware, algoritmo detecção confirma face, e Pololu Maestro comanda servos braço do robô Sonbi para realizar aceno de boas-vindas. Esta integração demonstra viabilidade de usar hardware consumer para robótica interativa.