Manufaturação industrial
Internet das coisas industrial | Materiais industriais | Manutenção e reparo de equipamentos | Programação industrial |
home  MfgRobots >> Manufaturação industrial >  >> Manufacturing Technology >> Processo de manufatura

PC Controlado por Gestos com Arduino e Python – Operação Mãos-Livres

Componentes e Materiais

Arduino UNO 1
Sensor Ultrassônico HC-SR04 (Genérico) 2
Jumpers (genéricos) 1

Aplicações e Serviços Online

Sobre o Projeto

Neste projeto, aprendemos a construir laptops/computadores controlados por gestos. Baseia-se na combinação de Arduino e Python.

Em vez de teclado, mouse ou joystick, usamos gestos das mãos para controlar funções do computador: play/pause de vídeo, avançar/voltar em slideshow, rolar página web, e muito mais. Por isso, decidi controlar o VLC Media Player como demonstração.

A ideia é simples: usando dois Sensores Ultrassônicos (HC-SR04) com Arduino. Colocamos os sensores no topo da tela do laptop e calculamos a distância entre a mão e o sensor. Com base nas informações do Arduino enviadas ao Python via porta serial, o Python (rodando no computador) executa as ações correspondentes.

Componentes de Hardware

Software Necessário

Assumo que você já tem Python e PySerial instalados e fez projetos básicos. Se não, recomendo meu tutorial anterior (Programando Arduino com Python). Para conhecer o sensor ultrassônico, veja aqui.

Passo 1: Assista ao Vídeo para Mais Detalhes

(Vídeo disponível no projeto original)

Passo 2: Propósito dos Gestos

Os 5 comandos de gestos programados para demonstração:

Passo 3: Esquemático

Cada sensor tem 4 pinos:

Passo 4: Programando em Python

1. Instale Python IDLE

Pule se já instalado. Caso contrário, baixe em python.org. Mantenha diretório padrão. Nota: Mesmo em PC 64-bit, use Python 32-bit por compatibilidade com bibliotecas Arduino.

2. Instale Biblioteca PySerial

PySerial é API Python para ler/escrever dados serial no Arduino. No Windows: baixe na página do PySerial, instale com padrão. Teste com import serial – sem erros significa sucesso.

3. Instale Biblioteca PyAutoGUI

PyAutoGUI fornece módulo Python multiplataforma para automação de GUI. No Windows (com Python já instalado):

cd C:\Python27
python –m pip install –upgrade pip
python –m pip install pyautogui

Teste com import pyautogui.

Passo 5: Código Arduino

const int trigger1 = 2; // Trigger do 1º sensor
const int echo1 = 3;    // Echo do 1º sensor
const int trigger2 = 4; // Trigger do 2º sensor
const int echo2 = 5;    // Echo do 2º sensor

long time_taken;
int dist, distL, distR;

void setup() {
  Serial.begin(9600);
  pinMode(trigger1, OUTPUT);
  pinMode(echo1, INPUT);
  pinMode(trigger2, OUTPUT);
  pinMode(echo2, INPUT);
}

void calculate_distance(int trigger, int echo) {
  digitalWrite(trigger, LOW);
  delayMicroseconds(2);
  digitalWrite(trigger, HIGH);
  delayMicroseconds(10);
  digitalWrite(trigger, LOW);
  time_taken = pulseIn(echo, HIGH);
  dist = time_taken * 0.034 / 2;
  if (dist > 60) dist = 60;
}

void loop() {
  calculate_distance(trigger1, echo1);
  distL = dist;
  calculate_distance(trigger2, echo2);
  distR = dist;

  // Modo Pausa – Detecta ambas as mãos
  if ((distL > 40 && distR > 40) && (distL < 60 && distR < 60)) {
    Serial.println("Play/Pause");
    delay(500);
  }

  calculate_distance(trigger1, echo1);
  distL = dist;
  calculate_distance(trigger2, echo2);
  distR = dist;

  // Modo Controle – Trava Esquerda
  if (distL >= 13 && distL <= 17) {
    delay(100); // Tempo de espera da mão
    calculate_distance(trigger1, echo1);
    distL = dist;
    if (distL >= 13 && distL <= 17) {
      Serial.println("Left Locked");
      while (distL <= 40) {
        calculate_distance(trigger1, echo1);
        distL = dist;
        if (distL < 10) { // Mão empurrada
          Serial.println("Volume Increased");
          delay(300);
        }
        if (distL > 20) { // Mão puxada
          Serial.println("Volume Decreased");
          delay(300);
        }
      }
    }
  }

  // Modo Controle – Trava Direita
  if (distR >= 13 && distR <= 17) {
    delay(100);
    calculate_distance(trigger2, echo2);
    distR = dist;
    if (distR >= 13 && distR <= 17) {
      Serial.println("Right Locked");
      while (distR <= 40) {
        calculate_distance(trigger2, echo2);
        distR = dist;
        if (distR < 10) { // Mão direita empurrada
          Serial.println("Rewind");
          delay(300);
        }
        if (distR > 20) { // Mão direita puxada
          Serial.println("Forward");
          delay(300);
        }
      }
    }
  }
  delay(200);
}

Passo 6: Código Python

import serial
import time
import pyautogui

ArduinoSerial = serial.Serial('com15', 9600)
time.sleep(2) # Aguarda conexão estabelecer

while 1:
  incoming = str(ArduinoSerial.readline())
  print(incoming)
  
  if 'Play/Pause' in incoming:
    pyautogui.typewrite(['space'], 0.2)
  if 'Rewind' in incoming:
    pyautogui.hotkey('ctrl', 'left')
  if 'Forward' in incoming:
    pyautogui.hotkey('ctrl', 'right')
  if 'Volume Increased' in incoming:
    pyautogui.hotkey('ctrl', 'down')
  if 'Volume Decreased' in incoming:
    pyautogui.hotkey('ctrl', 'up')
  
  incoming = ""

Nota: Ajuste a porta COM ('com15') para a porta correta do seu Arduino.

Processo de manufatura

  1. Crie um Sistema Ambilight Impressionante para Monitor com Arduino
  2. Controle Remoto Universal Android com Arduino, 1Sheeld e IR
  3. Construa um Voltímetro Inteligente com Arduino e Smartphone – Projeto DIY Fácil
  4. Controle IoT Remoto de Braço Robótico Personalizado
  5. Medição Precisa de Frequência e Ciclo de Trabalho com Arduino UNO
  6. Controle um Rover Arduino com Firmata e Gamepad Xbox One
  7. Pistola de Água Inteligente com Detecção de Movimento usando Arduino Nano
  8. Controle Suave de Brilho de LED com Bolt IoT e Arduino UNO
  9. Braço Robótico Inteligente Controlado por Arduino: Tutorial DIY Fácil
  10. Controle sua TV com Alexa via Arduino IoT Cloud – Guia Passo a Passo