Reconhecimento de fala com Arduino e BitVoicer Server

Sobre este projeto

• As ondas de áudio serão capturadas e amplificadas pela placa Sparkfun Electret Breakout;
• O sinal amplificado será digitalizado e armazenado em buffer no Arduino usando seu conversor analógico para digital (ADC);
• Amostras do Theaudio serão transmitidas para o BitVoicer Server usando a porta serial do Arduino;
• BitVoicerServer irá processar o stream de áudio e reconhecer a fala que ele contém;
• A fala reconhecida será mapeada para comandos predefinidos que serão enviados de volta para o Arduino;
• O Arduino identificará os comandos e executará a ação apropriada.

• Arduino Micro (ou qualquer outra placa Arduino):~ U $ 20,00
• Breakout do microfone de eletreto Sparkfun:U $ 7,95
• BitVoicer Server 1.0 :U $ 9,90
• Breadboard:~ U $ 10,00
• 3 xLEDs:~ U $ 1,00
• 3 resistores x330 ohms:~ U $ 0,75
• Jumperwires:~ U $ 0,30

ETAPA 1:Fiação

ETAPA 2:upload do código para o Arduino

• Referências de biblioteca e declaração de variável:As duas primeiras linhas incluem referências às bibliotecas BVSP e BVSMic. Essas bibliotecas são fornecidas pela BitSophia e podem ser encontradas na pasta de instalação do BitVoicer Server. As outras linhas declaram constantes e variáveis ​​usadas em todo o esboço. A classe BVSP é usada para se comunicar com o BitVoicer Server e a classe BVSMic é usada para capturar e armazenar amostras de áudio.
• Função de configuração:Esta função inicializa a comunicação serial, a classe BVSP, a classe BVSMic e define o “manipulador de eventos” (na verdade é um ponteiro de função) para o evento frameReceived.
• Loopfunction:esta função executa três ações importantes:solicita o status do servidor (função keepAlive ()), verifica se o servidor enviou dados e processa os dados recebidos (função receive ()) e controla a gravação e o envio de áudio streams (funções isSREAvailable (), startRecording (), stopRecording () e sendStream ()).
• Função BVSP_frameReceived:esta função é chamada toda vez que a função receive () identifica que um quadro completo foi recebido. Aqui eu executo o comando enviado do servidor BitVoicer. O comando contém 2 bytes. O primeiro byte indica o pino e o segundo byte indica o valor do pino. Eu uso a função analogWrite () para definir o valor apropriado para o pino.

ETAPA 3:Importando objetos da solução do BitVoicer Server

Código

• BVS_Demo1.ino

BVS_Demo1.ino Arduino

 #include  #include  // Define o pino Arduino que será usado para capturar áudio #define BVSM_AUDIO_INPUT 5 // Define os pinos de LED # define RED_LED_PIN 6 # define YELLOW_LED_PIN 9 # define GREEN_LED_PIN 10 // Define as constantes que serão passadas como parâmetros para // a função BVSP.beginconst unsigned long STATUS_REQUEST_TIMEOUT =1000; const unsigned long STATUS_REQUEST_INTERVAL =2000; // Define o tamanho do buffer de áudio const int AUDIO_BUFFER_SIZE =64 /; / Define o tamanho do bufferconst de recebimento int RECEIVE_BUFFER_SIZE =2; // Inicializa uma nova instância global da classe BVSP BVSP bvsp =BVSP (); // Inicializa uma nova instância global da classe BVSMic BVSMic bvsm =BVSMic (); / / Cria um buffer que será usado para ler as amostras gravadas // da classe BVSMic byte audioBuffer [AUDIO_BUFFER_SIZE]; // Cria um buffer que será usado para ler os comandos enviados // do BitVoicer Server.// Byte 0 =pin número // Byte 1 =pin valuebyte receiveBuffer [RECEIVE_BUFFER _SIZE]; void setup () {// Define os modos de pin pinMode (RED_LED_PIN, OUTPUT); pinMode (YELLOW_LED_PIN, OUTPUT); pinMode (GREEN_LED_PIN, OUTPUT); // Inicia a comunicação serial em 115200 bps Serial.begin (115200); // Define a porta serial do Arduino que será usada para // comunicação, quanto tempo levará antes que uma solicitação de status // atinja o tempo limite e com que freqüência as solicitações de status devem ser enviadas para // BitVoicer Server. bvsp.begin (Serial, STATUS_REQUEST_TIMEOUT, STATUS_REQUEST_INTERVAL); // Define a função que tratará o evento frameReceived // bvsp.frameReceived =BVSP_frameReceived; // Prepara o temporizador da classe BVSMic bvsm.begin ();} void loop () {// Verifica se o intervalo de solicitação de status expirou e // já passou, envia uma solicitação de status ao BitVoicer Server bvsp.keepAlive (); // Verifica se há dados disponíveis no buffer da porta serial // e processa seu conteúdo conforme especificações // do BitVoicer Server Protocol bvsp.receive (); // Verifica se há um SRE disponível. Se houver, // inicia a gravação. if (bvsp.isSREAvailable ()) {// Se a classe BVSMic não estiver gravando, configura a entrada de áudio // e inicia a gravação if (! bvsm.isRecording) {bvsm.setAudioInput (BVSM_AUDIO_INPUT, EXTERNAL); bvsm.startRecording (); } // Verifica se a classe BVSMic tem amostras disponíveis if (bvsm.available) {// Certifica-se de que o modo de entrada é STREAM_MODE antes de // transmitir o fluxo if (bvsp.inboundMode ==FRAMED_MODE) bvsp.setInboundMode (STREAM_MODE); // Lê as amostras de áudio da classe BVSMic int bytesRead =bvsm.read (audioBuffer, AUDIO_BUFFER_SIZE); // Envia o stream de áudio para o BitVoicer Server bvsp.sendStream (audioBuffer, bytesRead); }} else {// Nenhum SRE está disponível. Se a classe BVSMic estiver gravando, // para. if (bvsm.isRecording) bvsm.stopRecording (); }} // Manipula o evento frameReceived void BVSP_frameReceived (byte dataType, int payloadSize) {// Verifica se o frame recebido contém dados binários // 0x07 =Dados binários (matriz de bytes) if (dataType ==DATA_TYPE_BINARY) {// Se 2 bytes foram recebidos, processe o comando. if (bvsp.getReceivedBytes (receiveBuffer, RECEIVE_BUFFER_SIZE) ==RECEIVE_BUFFER_SIZE) {analogWrite (receiveBuffer [0], receiveBuffer [1]); }}} 

Esquemas