Aya: Assistente Robô Interativo Premiado Alimentado por AWS

Aya é um robô interativo premiado que utiliza o AWS Rekognition para reconhecer faces e identificar objetos, oferecendo respostas de voz naturais via Amazon Polly.

História

Inspiração

Ver a Alexa da Amazon e o Google Home despertou nossa visão de um assistente pessoal verdadeiramente humano. Aya é nosso robô prova de conceito que combina aparência humana com IA avançada.

O Que Faz

Aya armazena a foto do usuário para reconhecê-lo e identifica o objeto à sua frente, comunicando o resultado por fala sintetizada.

Como Construímos

Construir a Aya exigiu um sistema embarcado complexo: controles de servo rodavam em threads separadas dos codecs de áudio para permitir fala e movimento de mandíbula simultâneos. Imprimimos em 3D o chassi — um design open-source InMoov — ao longo de 26 horas durante o Hack the North 2017. O sistema depende do AWS Rekognition para comparação facial, Amazon Polly para síntese de fala e uma thread paralela para atuação de servos em tempo real.

Desafios

Obstáculos de hardware incluíam fios derretendo, protoboards queimados, superaquecimento de servos e problemas de tolerância. Sincronizar controle de servo com fala exigiu multithreading cuidadoso. No software, escolher o rótulo mais relevante do array de confiança do Rekognition provou ser difícil; exploramos clustering k-means mas restrições de tempo limitaram a implementação completa. Completar tudo em um hackathon de 36 horas, com pouco descanso, nos forçou a permanecer ágeis e focados.

Realizações das Quais nos Orgulhamos

Integramos com sucesso o sistema de servos com a pilha de software e mantivemos excelente colaboração em equipe durante o evento, resultando num produto final polido.

Próximos Passos para a Aya

Trabalhos futuros incluem aplicar TensorFlow para agrupar saídas do Rekognition e usar pyAudioAnalysis para sincronizar formas de onda de áudio com movimento de servo mais precisamente.