Aya

Aya é um robô interativo que armazena sua imagem para reconhecê-lo e interagir com você. Vencedor do Hack the North 2017 e Best Use of AWS.

História

Inspiração

Quando vimos o que a Amazon fez com Alexa e o Google com sua casa, tivemos certeza de que a era dos assistentes pessoais computadorizados havia chegado. No entanto, nos perguntamos como torná-los mais humanos - Aya é uma prova de conceito para assistentes pessoais robóticos que parecem e sentem humanos.

O que faz

Aya é um robô interativo que armazena sua imagem para reconhecê-lo e dizer qual objeto você está segurando.

Como o construímos

Aya é um pesadelo para sistemas embarcados! Uma interface de servossistemas com codecs de áudio sendo executados em diferentes threads para multiprocessamento.

Imprimimos em 3D as partes físicas (cortesia de InMoov®, um robô de código aberto) em um processo que durou mais de 26 horas. Foi construído e montado na Hack the North 2017.

Aya usa o AWS Rekognition para comparar a geometria do rosto para reconhecer pessoas que ela já conheceu e para conhecer novos humanos. Escolhemos o objeto de maior confiança que não é humano e o executamos no Amazon Polly, que gera um arquivo.ogg. Enquanto tudo isso está acontecendo, outro thread com servo controles personalizados está rodando em paralelo para fazer a mandíbula se mover com a fala.

Desafios que encontramos

Os hacks de hardware são difíceis! Encontramos mil problemas, não limitados a:derreter fios, queimar tábuas de pão, superaquecer servos e, claro, tolerâncias de peças!

Outro aspecto difícil do projeto era o controle servo - isso exigia iniciar outro thread e executar os controles servo em conjunto com a fala.

Em termos de software, uma vez que o Amazon Rekognition produz apenas uma série de rótulos e seus níveis de confiança, muitas vezes é difícil escolher o rótulo mais relevante para uma imagem. Tentamos resolver isso usando k -significa agrupamento para gerar grupos de palavras semelhantes e, em seguida, gerar frases para cada grupo. No entanto, como o hardware tomava muito do nosso tempo, infelizmente não tivemos tempo para implementá-lo totalmente.

Finalmente, fazer tudo isso com um orçamento de 36 horas (sem incluir sono!) foi o maior desafio de todos, mas nos obrigou a seguir um cronograma e tornar nosso projeto ágil.

Realizações das quais nos orgulhamos

Temos orgulho de poder fazer o sistema servo e o software se unirem. Acima de tudo, estamos orgulhosos de ter trabalhado juntos incrivelmente bem como uma equipe, com pouco atrito e um resultado incrível.

O que vem por aí para Aya

Queremos usar o TensorFlow para agrupar a saída do AWS Rekognition e o pyAudioAnalysis para aplicar a técnica de análise de forma de onda ao arquivo de áudio gerado para sincronizar melhor o som com a atuação servo.

Leia mais informações…

Aya