Renesas e Syntiant oferecem solução conjunta de visão controlada por voz

Renesas Electronics Corporation e Syntiant Corp., um fornecedor de voz inteligente de baixo consumo e processamento de sensores em dispositivos de ponta, desenvolveram em conjunto uma solução de inteligência artificial multimodal controlada por voz (AI) para permitir a operação sem contato de baixo consumo de energia para processamento de imagem em visão incorporada Internet das coisas (IoT) baseada em IA e sistemas de ponta.

A nova solução combina a unidade de microprocessador (MPU) de visão AI série Renesas RZ / V e o processador de decisão neural Syntiant NDP120 multimodal de baixa potência para fornecer recursos avançados de processamento de voz e imagem em aplicativos como máquinas de auto-checkout, câmeras de segurança, vídeo sistemas de conferência e aparelhos inteligentes, como dispositivos de limpeza robótica.

A solução conjunta apresenta funcionalidade sempre ativa com rápida ativação acionada por voz a partir do modo de espera para realizar o reconhecimento de objetos, reconhecimento facial e outras tarefas baseadas na visão que são funções críticas em câmeras de segurança e outros sistemas. Por exemplo, enquanto as dicas de voz definidas pelo usuário conduzem a ativação e a operação do sistema, o reconhecimento de visão AI rastreia o comportamento do operador e controla a operação ou emite um aviso quando ações suspeitas são detectadas.

A arquitetura multimodal torna mais fácil criar experiências de usuário sem contato para sistemas baseados em visão AI. O uso de um chip dedicado e com baixo consumo de energia para reconhecimento de voz reduz o consumo de energia no modo de espera e, ao mesmo tempo, acelera o desenvolvimento do sistema, pois é possível desenvolver software independentemente da funcionalidade de visão AI.

O MPU da série Renesas RZ / V incorpora o acelerador DRP-AI (processador-AI dinamicamente reconfigurável) da Renesas e combina a inferência de IA de alta precisão com uma eficiência de energia que a Renesas afirma estar entre as melhores do setor. Esse desempenho de energia superior elimina a necessidade de medidas de dispersão de calor, como dissipadores de calor ou ventiladores, o que reduz o custo da lista de materiais (BOM) e torna possível integrar a visão AI em uma ampla gama de aplicações embarcadas. O DRP-AI é composto por AI-MAC e DRP (processador reconfigurável dinamicamente), que pode processar com eficiência as operações em camadas convolucionais e de combinação, otimizando o fluxo de dados com switches internos. O DRP pode processar processamento complexo, como pré-processamento de imagem e camadas de pool de modelos de IA de maneira flexível e rápida, alterando dinamicamente a configuração do hardware. O tradutor DRP-AI fornecido aloca automaticamente cada processo do modelo AI para o AI-MAC e DRP, permitindo assim que o usuário use facilmente o DRP-AI sem estar ciente do hardware. A saída de vários executáveis ​​pelo tradutor DRP-AI pode ser colocada na memória externa. Isso torna possível alternar dinamicamente entre vários modelos de IA como um sistema. Além disso, o tradutor DRP-AI pode ser atualizado continuamente para oferecer suporte a modelos de IA recém-desenvolvidos sem alterações de hardware.

O chip Syntiant NDP120 incorpora recursos de IA sofisticados que podem ser usados ​​para implementar muitas funções de voz de alta precisão e mãos livres, incluindo reconhecimento de alto-falante, detecção de palavra-chave, várias palavras de ativação e reconhecimento de comando local. Embalado com o mecanismo de inferência de rede neural Syntiant Core 2, o NDP120 também pode executar vários aplicativos simultaneamente, minimizando o consumo de energia para 1mW de bateria.

Falando pela Renesas, Hiroto Nitta disse:“Prevemos que a demanda por sistemas multimodais que usam vários fluxos de informações de entrada - tanto de imagem quanto de voz - aumentará no futuro como uma forma de melhorar a facilidade de uso e a segurança”. Nitta, um vice-presidente sênior e chefe de negócios de SoC na unidade de negócios de infraestrutura e IoT, acrescentou:“Por meio da colaboração entre a Renesas, líder em tecnologia de IA de imagem de baixo consumo, e a Syntiant, líder em tecnologia de IA de voz, iremos acelere a adoção da tecnologia de IA de voz inteligente ultrapequena e de baixo consumo em sistemas incorporados e forneça novas soluções combinadas para clientes em todo o mundo ”.

O CEO da Syntiant, Kurt Busch, disse:“As interfaces de usuário baseadas em voz possibilitarão aos clientes oferecer novas experiências de usuário que trazem a próxima geração de ideias inovadoras do conceito à realidade. Já enviamos mais de 15 milhões de nossos NDPs de aprendizagem profunda globalmente para permitir voz sempre ativa em uma ampla variedade de aplicações de IoT industriais e de consumo. Nossa colaboração com a Renesas oferece uma solução de voz e imagem poderosa e de baixo consumo que certamente acelerará a tração entre uma base de clientes global em uma variedade de dispositivos e casos de uso. ”

A nova solução de AI multimodal controlada por voz usa vários dispositivos mutuamente compatíveis de um portfólio mais amplo da Renesas para fornecer aos clientes uma plataforma de prototipagem elevada para um tempo de entrada no mercado mais rápido e risco reduzido. A nova solução faz parte das "combinações vencedoras" da Renesas, que apresentam combinações atraentes de produtos de processamento analógico, avançado e integrado que ajudam os clientes a acelerar seus projetos e chegar ao mercado mais rapidamente.

O projeto de referência para a nova solução de AI multimodal já está disponível, incluindo diagramas de circuitos e listas de BOM.