PC Controlado por Gestos com Arduino e Python – Operação Mãos-Livres
Componentes e Materiais
| Arduino UNO | 1 |
| Sensor Ultrassônico HC-SR04 (Genérico) | 2 |
| Jumpers (genéricos) | 1 |
Aplicações e Serviços Online
- Arduino IDE
- Python IDLE
- Biblioteca PySerial
- Biblioteca PyAutoGUI
Sobre o Projeto
Neste projeto, aprendemos a construir laptops/computadores controlados por gestos. Baseia-se na combinação de Arduino e Python.
Em vez de teclado, mouse ou joystick, usamos gestos das mãos para controlar funções do computador: play/pause de vídeo, avançar/voltar em slideshow, rolar página web, e muito mais. Por isso, decidi controlar o VLC Media Player como demonstração.
A ideia é simples: usando dois Sensores Ultrassônicos (HC-SR04) com Arduino. Colocamos os sensores no topo da tela do laptop e calculamos a distância entre a mão e o sensor. Com base nas informações do Arduino enviadas ao Python via porta serial, o Python (rodando no computador) executa as ações correspondentes.
Componentes de Hardware
- Arduino
- Dois Sensores Ultrassônicos (HC-SR04)
- Alguns fios
Software Necessário
- Arduino IDE
- Python IDLE
- Biblioteca PySerial (comunicação serial)
- Biblioteca PyAutoGUI (automação de GUI)
Assumo que você já tem Python e PySerial instalados e fez projetos básicos. Se não, recomendo meu tutorial anterior (Programando Arduino com Python). Para conhecer o sensor ultrassônico, veja aqui.
Passo 1: Assista ao Vídeo para Mais Detalhes
(Vídeo disponível no projeto original)
Passo 2: Propósito dos Gestos
Os 5 comandos de gestos programados para demonstração:
- 1º gesto (Play/Pause): Duas mãos na frente dos sensores esquerdo/direito a uma distância média
- 2º gesto (Rebobinar): Mão na frente do sensor esquerdo a distância média
- 3º gesto (Avançar): Mão na frente do sensor direito a distância média
- 4º gesto (Aumentar Volume): Mão na frente do sensor esquerdo a distância média e afastando-se do sensor
- 5º gesto (Diminuir Volume): Mão na frente do sensor esquerdo a distância média e aproximando-se do sensor
Passo 3: Esquemático
Cada sensor tem 4 pinos:
- Vcc – conectado a 5V
- Trig – definir no programa
- Echo – definir no programa
- GND – conectado ao terra
Passo 4: Programando em Python
1. Instale Python IDLE
Pule se já instalado. Caso contrário, baixe em python.org. Mantenha diretório padrão. Nota: Mesmo em PC 64-bit, use Python 32-bit por compatibilidade com bibliotecas Arduino.
2. Instale Biblioteca PySerial
PySerial é API Python para ler/escrever dados serial no Arduino. No Windows: baixe na página do PySerial, instale com padrão. Teste com import serial – sem erros significa sucesso.
3. Instale Biblioteca PyAutoGUI
PyAutoGUI fornece módulo Python multiplataforma para automação de GUI. No Windows (com Python já instalado):
cd C:\Python27
python –m pip install –upgrade pip
python –m pip install pyautogui
Teste com import pyautogui.
Passo 5: Código Arduino
const int trigger1 = 2; // Trigger do 1º sensor
const int echo1 = 3; // Echo do 1º sensor
const int trigger2 = 4; // Trigger do 2º sensor
const int echo2 = 5; // Echo do 2º sensor
long time_taken;
int dist, distL, distR;
void setup() {
Serial.begin(9600);
pinMode(trigger1, OUTPUT);
pinMode(echo1, INPUT);
pinMode(trigger2, OUTPUT);
pinMode(echo2, INPUT);
}
void calculate_distance(int trigger, int echo) {
digitalWrite(trigger, LOW);
delayMicroseconds(2);
digitalWrite(trigger, HIGH);
delayMicroseconds(10);
digitalWrite(trigger, LOW);
time_taken = pulseIn(echo, HIGH);
dist = time_taken * 0.034 / 2;
if (dist > 60) dist = 60;
}
void loop() {
calculate_distance(trigger1, echo1);
distL = dist;
calculate_distance(trigger2, echo2);
distR = dist;
// Modo Pausa – Detecta ambas as mãos
if ((distL > 40 && distR > 40) && (distL < 60 && distR < 60)) {
Serial.println("Play/Pause");
delay(500);
}
calculate_distance(trigger1, echo1);
distL = dist;
calculate_distance(trigger2, echo2);
distR = dist;
// Modo Controle – Trava Esquerda
if (distL >= 13 && distL <= 17) {
delay(100); // Tempo de espera da mão
calculate_distance(trigger1, echo1);
distL = dist;
if (distL >= 13 && distL <= 17) {
Serial.println("Left Locked");
while (distL <= 40) {
calculate_distance(trigger1, echo1);
distL = dist;
if (distL < 10) { // Mão empurrada
Serial.println("Volume Increased");
delay(300);
}
if (distL > 20) { // Mão puxada
Serial.println("Volume Decreased");
delay(300);
}
}
}
}
// Modo Controle – Trava Direita
if (distR >= 13 && distR <= 17) {
delay(100);
calculate_distance(trigger2, echo2);
distR = dist;
if (distR >= 13 && distR <= 17) {
Serial.println("Right Locked");
while (distR <= 40) {
calculate_distance(trigger2, echo2);
distR = dist;
if (distR < 10) { // Mão direita empurrada
Serial.println("Rewind");
delay(300);
}
if (distR > 20) { // Mão direita puxada
Serial.println("Forward");
delay(300);
}
}
}
}
delay(200);
}
Passo 6: Código Python
import serial
import time
import pyautogui
ArduinoSerial = serial.Serial('com15', 9600)
time.sleep(2) # Aguarda conexão estabelecer
while 1:
incoming = str(ArduinoSerial.readline())
print(incoming)
if 'Play/Pause' in incoming:
pyautogui.typewrite(['space'], 0.2)
if 'Rewind' in incoming:
pyautogui.hotkey('ctrl', 'left')
if 'Forward' in incoming:
pyautogui.hotkey('ctrl', 'right')
if 'Volume Increased' in incoming:
pyautogui.hotkey('ctrl', 'down')
if 'Volume Decreased' in incoming:
pyautogui.hotkey('ctrl', 'up')
incoming = ""
Nota: Ajuste a porta COM ('com15') para a porta correta do seu Arduino.
Processo de manufatura
- Crie um Sistema Ambilight Impressionante para Monitor com Arduino
- Controle Remoto Universal Android com Arduino, 1Sheeld e IR
- Construa um Voltímetro Inteligente com Arduino e Smartphone – Projeto DIY Fácil
- Controle IoT Remoto de Braço Robótico Personalizado
- Medição Precisa de Frequência e Ciclo de Trabalho com Arduino UNO
- Controle um Rover Arduino com Firmata e Gamepad Xbox One
- Pistola de Água Inteligente com Detecção de Movimento usando Arduino Nano
- Controle Suave de Brilho de LED com Bolt IoT e Arduino UNO
- Braço Robótico Inteligente Controlado por Arduino: Tutorial DIY Fácil
- Controle sua TV com Alexa via Arduino IoT Cloud – Guia Passo a Passo