SONBI ROBOT DETECÇÃO HUMANA USANDO KINECT E RASPBERRY PI

A. OBJETIVO

Para construir o sistema de software do Raspberry pi dentro do Sonbi e
integrar o Microsoft Kinect ao Raspberry pi e torná-lo
interativo com o robô Sonbi de uma forma que as pessoas fiquem na frente do
Kinect, o robô Sonbi acena com os braços para as pessoas.

B. SISTEMA DE HARDWARE

Sonbi tem os seguintes itens de hardware básicos montados dentro de seu
chassi torácico:
• Raspberry Pi com Flash de 8 GB
• Pololu Maestro 24
• Microsoft Kinect
• ATX 500 Watt PS
• Partes diversas (protoplacas, arame, mecânica)

Framboesa pi:

• Processador de núcleo ARM1176JZF-S 700 MHz
• SDRAM de 512 MB
• Alimentado por microUSB (5V)
• Ethernet, HDMI e 2 portas USB para periféricos
• Sistema operacional Raspbian
• Amplamente utilizado, muita documentação!

Pololu maestro 24

• 24 canais
• Taxa de pulso de até 333 Hz
• Tamanho do script de até 8 KB
• Até 1,5 amperes por canal
• 2 opções de alimentação USB / conector de alimentação
• Suporte a scripts ou API nativa

Interface Raspberry pi e Pololu

• Fiação simples
- Power, Gnd, Tx-Rx e Rx-Tx
• Porta serial TTL
- Por padrão, Pi usa a porta serial para entrada / saída do console
- Edite / etc / inittab e /boot/cmdline.txt para alterar o padrão
e a porta serial livre para uso
• Ótimo tutorial em:
http://shahmirj.com/blog / raspberry-pi-and-pololu-servocontroller-using-c
Microsoft Kinect:
• Uma câmera RGB que armazena dados de três canais em uma resolução de 1280 × 960
. Isso torna possível a captura de uma imagem colorida.
• Um emissor infravermelho (IV) e um sensor de profundidade IV. O emissor
emite feixes de luz infravermelha e o sensor de profundidade lê os feixes de IR refletidos de volta para o sensor. Os feixes refletidos são
convertidos em informações de profundidade medindo a distância
entre um objeto e o sensor. Isso torna possível a captura de uma
imagem de profundidade.
• Um microfone multi-array, que contém quatro microfones
para captura de som. Como existem quatro microfones, é
possível gravar áudio, bem como encontrar a localização da fonte de som
e a direção da onda de áudio.
• Um acelerômetro de 3 eixos configurado para uma faixa 2G, onde G é
a aceleração devida à gravidade. É possível usar o acelerômetro
para determinar a orientação atual do
Kinect

Ângulo de inclinação vertical:27 graus
• Taxa de quadros:30 fps

C. INTEGRANDO O TIPO DE FRAMBOESA COM PI

A seguir estão as etapas executadas para integrar o Kinect ao
Raspberry Pi.

Conectando o Microsoft Kinect e seus drivers de sensor no raspberry pi:

Este processo é uma das partes tediosas do projeto, pois é preciso estar ciente de que o Kinect funciona no Windows e para fazê-lo funcionar em um sistema operacional baseado em unix, precisamos instalar manualmente todas as bibliotecas e drivers associados a ele que é difícil e leva muitas horas de trabalho para resolver os problemas. As etapas executadas e as bibliotecas e a lista de pacotes instalados são fornecidas na seção de sistemas de software de construção.

Usando a capacidade total do Kinect:

Para usar todos os recursos do Kinect, como sensores de profundidade, sensor IR, microfone e motores para inclinar a câmera, precisamos de bibliotecas que possam fazer isso. O RPI por padrão tem OpenCV e Open GL / GLES montados nele, mas estes não suportam (muito em breve) sensores de profundidade e motores ainda, então precisamos do pacote OpenNI ou Libfreenect para ser instalado. Qualquer um é suficiente, mas decidi instalar os dois. Para testar e entender, você pode executar programas de amostra, que estão disponíveis nas pastas OpenNI e Libfreenect. Já compliei e construí os binários. Pode-se executá-lo simplesmente ir para a pasta “bin” e rodar os samples pelo
./”sample program. ”

D. CONSTRUÇÃO DE SISTEMA DE SOFTWARE

Libfreenect:
Libfreenect é um driver de espaço do usuário para o Microsoft Kinect. Ele roda em
Suporta Linux
• RGB e imagens de profundidade
• Motores
• Acelerômetro
• LED
O áudio é um trabalho em andamento
Para construir o libfreenect, você precisará
• libusb> =1.0.13
• CMake> =2.6
• python ==2. * (somente se BUILD_AUDIO ou BUILD_PYTHON)
Para os exemplos, você precisará
• OpenGL (incluído no OSX)
• excesso (incluído no OSX)
• pthreads-win32 (Windows)
git clone https:/ /github.com/OpenKinect/libfreenect cd libfreenect mkdir build cd
build cmake -L .. make # se você não tiver make ou não deseja saída de cores #
cmake –build

sudo apt-get install git-core cmake pkg-config build-essential libusb-1.0-0-dev
sudo adduser $ USER video sudo adduser $ USER plugdev # necessário? # apenas se você
estiver construindo os exemplos:sudo apt-get install libglut3-dev libxmu-dev libxi-dev

Wrappers:

Interfaces para vários idiomas são fornecidas em wrappers /. Wrappers
não têm garantia de API estável ou atualizados.
• C (usando uma API síncrona)
• C ++
• C #
• python
• ruby ​​
• actionscript
• Java (JNA)

OpenNI:

Requisitos:
1) GCC 4.x
De:http://gcc.gnu.org/releases.html
Ou via apt:sudo apt-get install g ++
2) Python 2.6 + / 3.x
De:http://www.python.org/download/
Ou via apt:sudo apt-get install python
3) LibUSB 1.0.x
De:http://sourceforge.net/projects/libusb/files/libusb-1.0/
Ou via apt:sudo apt-get install libusb-1.0-0-dev
4) FreeGLUT3
De:http://freeglut.sourceforge.net/index.php#download
Ou via apt:sudo apt-get install freeglut3-dev
5) JDK 6.0
De:
http://www.oracle.com/technetwork/java/javase/downloads/jdk6u32-downloads-1594644.html
Ou via apt:sudo add-apt-repository “ deb

Requisitos opcionais (para construir a documentação):
1) Doxygen
De:
http://www.stack.nl/~dimitri/doxygen/download.html#latestsrc
Ou via apt:sudo apt-get install doxygen
2) GraphViz
De:http://www.graphviz.org/Download_linux_ubuntu.php
Ou via apt:sudo apt-get install graphviz

Construindo OpenNI:

1) Vá para o diretório:“Platform / Linux / CreateRedist”.
Execute o script:“./RedistMaker”.
Isso irá compilar tudo e criar um pacote redist no
Diretório “Platform / Linux / Redist”. Também criará uma distribuição no
diretório “Platform / Linux / CreateRedist / Final”.
2) Vá para o diretório:“Platform / Linux / Redist”.
Execute o script:“Sudo ./install.sh” (precisa ser executado como root)
O script de instalação copia os arquivos-chave para o seguinte local:
Libs em:/ usr / lib
Bins em:/ usr / bin
Inclui em:/ usr / include / ni
Arquivos de configuração em:/ var / lib / ni
Se você deseja construir os wrappers Mono, execute também “make
mono_wrapper ”e“ make mono_samples ”

E. DETECÇÃO DE PESSOAS E AÇÃO DE SONBI:

O Raspberry PI executa um programa bootscript_sonbi.sh
O “bootscript_sonbi.sh” executa o comando “pythonidedetect.py
–cascade =face.xml 0”
Você vai precisar para baixar este arquivo de rosto treinado:
http://stevenhickson-code.googlecode.com/svn/trunk/AUI/Imaging/face.xml
Oidedetect.py executa o algoritmo de detecção de rosto e aciona o
Executável “Sonbi”. O binário Sonbi é responsável por colocar os servo motores
em ação. O fluxograma do processo está abaixo.

Fonte:SONBI ROBOT HUMAN DETECTION USANDO KINECT E FRAMBOESA PI