Speathe

Falando pela respiração:um sistema de comunicação inteligente para paralisados .

Coisas usadas neste projeto

Componentes de hardware

Alto-falante:3W, 4 ohms

Dispositivo Android

Walabot

Raspberry Pi 3 Modelo B

Aplicativos de software e serviços online

História

Speathe:Um método de comunicação inovador e em evolução para os paralíticos que ficaram sem fala após a paralisia. Mesmo que existam métodos para o paralisado, Speathe dá uma mão amiga, convertendo sua respiração em sons auditivos e textos transferíveis. Espero que haja uma grande evolução deste código e peço a todos os entusiastas que trabalhem nisso para torná-lo uma comunicação eficaz para nossos semelhantes paralisados.

Componentes de hardware

Walabot ouvirá a respiração e a classificará em respirações curtas e longas. O Raspberry atribui pontos e travessões às respirações curtas e longas, respectivamente, e os acrescenta para formar um alfabeto. Existem coleções de acrônimos com 3 letras que têm significados predefinidos para simplificar a comunicação. O Raspberry determinará a palavra speathe pelo usuário, atribuirá um valor a uma variável e enviará os dados ao servidor em execução em python. A aplicação mobile é desenvolvida em react-native que envia solicitações contínuas ao servidor em busca do valor da variável. Sempre que um valor não nulo é recebido, o aplicativo móvel o exibe. Também fornecemos extensão para as pessoas responderem aos paralisados ​​postando o texto digitado pelo usuário de volta no servidor e pronunciando-o em voz alta para os paralisados.

Desenvolvimento de software

1. Configurando Walabot SDK e programação usando Python

Se você não tem o Python IDE instalado, Python3 está disponível em:https://www.python.org/downloads/

Depois de fazer isso, você pode baixar o SDK do Walabot para o seu sistema operacional. Informações detalhadas sobre a API Walabot Python estão disponíveis em:https://walabot.com/api/_pythonapi.html

Depois de instalar o arquivo .deb, você pode encontrar vários programas de exemplo escritos para C ++ e Python no diretório de origem. Os programas de exemplo também estão disponíveis no site da API do Walabot. Para este projeto, eu recomendaria usar o programa BreathingExample python.

2. Detecção de respiração e correspondência de letras

A capacidade do walabot de determinar a energia da respiração é usada para determinar respirações longas e curtas. Faremos 10-15 loops sucessivos e se neles a energia for consideravelmente alta do que um valor limite, então ela é atribuída como respiração longa e se a energia for inferior ao limite, é uma respiração curta. Nesse caso, uma calibração única pode ser necessária para cada pessoa.

Após detectar respirações longas e curtas, respirações sucessivas e organizadas em uma matriz com '-' para respirações longas e '.' para respirações curtas que podem formar um código Morse como ['-.-.-' ] Padrões de código Morse específicos e predefinidos para letras e se as respirações corresponderem a eles, essa letra será pronunciada.

3. Cartas, palavras, frases, sentimentos

Nós, na primeira versão do Speathe, desenvolvemos acrônimos com três letras para frases comuns usadas na vida cotidiana, para que o paralítico não fale muito. Se uma correspondência de acrônimo de três letras for encontrada, o valor da variável que é obtido pelo aplicativo móvel é substituído pela frase correspondente. Assim, uma comunicação eficaz é possível para aqueles que estão totalmente paralisados.

4. Servidor

O servidor está sendo executado no raspberry pi e é totalmente controlado pelo python. O módulo Flask é usado para executar o servidor no Raspberry Pi 3. Um IP estático é definido no Raspberry Pi e o servidor é iniciado em alguma porta (digamos, 80).

Como configurar Estático IP

1. Digite sudo nano /etc/dhcpcd.conf no prompt de comando.

2. Role até o final do script e adicione as seguintes linhas:

interface eth0
ip_address estático =192.168.43.211
roteadores estáticos =192.168.43.1
domain_name_servers estáticos =192.168.43.1
interface wlan0
ip_address estático =192.168.43.211
roteadores estáticos =192.168.43.1
domain_name_servers estáticos =192.168.43.1

3. Salve o arquivo com ctrl + o e saia do nano com ctrl + x.

4. Reinicialize com sudo reboot.

5. Aplicativo móvel

O aplicativo móvel é desenvolvido em react-native. Solicitações nativas do React para o valor na mesma porta do servidor. Quando um valor é encontrado, ele é exibido na interface do usuário. E se o usuário quiser retornar algo de volta, o reagente nativo poste os dados em alguma variável no código do servidor e python, verificando o valor dessa variável, irá pronunciá-lo mais alto para que o paralisado ouça e dê uma resposta, se necessário.


Aplicativo móvel procurando por cliente O aplicativo móvel recebeu a mensagem "Apple" da paralyzedMessage de volta ao servidor

5. Teste

Execute os arquivos python no Raspberry Pi e defina um endereço IP estático para o Raspberry Pi. Altere o endereço IP e o endereço da porta no código JavaScript e renderize o apk. No meu caso, configurei o endereço IP para 192.168.43.211 e o apk de depuração é fornecido no repositório. Depois que o apk for gerado, conecte o Raspberry Pi ao dispositivo Android via Wi-Fi e conecte o walabot ao Raspberry Pi. Basta abrir o aplicativo e iniciar o Speathing.

Leia mais informações….

Speathe