Renasas e Syntiant Lançam IA de Visão Controlada por Voz de Baixa Potência para Sistemas Embarcados IoT

A Renesas Electronics Corporation e a Syntiant Corp. fizeram parceria para criar uma plataforma de IA multimodal controlada por voz de baixa potência que entrega processamento de imagem sem contato para aplicações edge e IoT de visão-AI embarcadas.

A integração do MPU de visão-AI da série RZ/V da Renesas com o processador de decisão neural NDP120 ultra-baixa potência da Syntiant entrega processamento avançado de voz e imagem para casos de uso variando de quiosques de auto-checkout e câmeras de segurança a sistemas de videoconferência e eletrodomésticos inteligentes como aspiradores robóticos.

A solução conjunta apresenta um modo always-on que permite wake-up rápido acionado por voz a partir de standby, habilitando reconhecimento de objetos e facial, bem como outras tarefas baseadas em visão essenciais para câmeras de segurança e sistemas similares. Cues de voz definidos pelo usuário iniciam ativação e operação, enquanto a visão AI rastreia comportamento do operador e pode alertar operadores quando atividade suspeita é detectada.

Ao separar reconhecimento de voz em um chip dedicado e eficiente em potência, a arquitetura reduz consumo de potência em standby e acelera desenvolvimento. Desenvolvedores podem programar componentes de voz e visão independentemente, simplificando integração.

A série RZ/V da Renesas incorpora o acelerador DRP‑AI (processador AI dinamicamente reconfigurável), combinando inferência de alta precisão com eficiência de potência que a Renesas alega estar entre as melhores da indústria. Este desempenho elimina a necessidade de heat sinks ou ventoinhas de resfriamento, reduzindo custo BOM e permitindo integração de visão-AI em uma ampla gama de aplicações embarcadas. O DRP‑AI é construído a partir de núcleos AI‑MAC e DRP, que lidam eficientemente com camadas convolucionais e fully-connected otimizando fluxo de dados com switches internos. O DRP pode reconfigurar dinamicamente para processar tarefas complexas como pré-processamento de imagem e camadas de pooling de modelos AI rapidamente. Um tradutor DRP‑AI mapeia automaticamente operações de modelos AI para hardware apropriado, permitindo desenvolvedores usarem DRP‑AI sem conhecimento detalhado de hardware. Múltiplos executáveis podem residir em memória externa, permitindo troca dinâmica entre modelos AI em runtime, e o tradutor pode ser atualizado para suportar novos modelos sem mudanças de hardware.

O chip Syntiant NDP120 incorpora capacidades sofisticadas de IA que suportam funções de voz hands-free de alta precisão, incluindo reconhecimento de falante, detecção de palavra-chave, múltiplas wake words e reconhecimento de comando local. Emparelhado com o motor de inferência neural-network Syntiant Core 2, o NDP120 pode rodar múltiplas aplicações simultaneamente enquanto consome tão pouco quanto 1 mW de potência da bateria.

Falando pela Renesas, Hiroto Nitta, Vice-Presidente Sênior e Chefe de Negócios SoC na unidade IoT e Infraestrutura, disse: "Antecipamos que a demanda por sistemas multimodais que usam múltiplos fluxos de informação de entrada — tanto imagem quanto voz — aumentará no futuro como forma de melhorar tanto facilidade de uso quanto segurança." Ele adicionou: "Através da colaboração entre Renesas, líder em tecnologia de imagem AI de baixa potência, e Syntiant, líder em tecnologia de voz AI, aceleraremos a adoção de tecnologia smart voice AI de ultra-baixa potência e ultra-pequena em sistemas embarcados e entregaremos novas soluções combinadas a clientes globalmente."

CEO da Syntiant, Kurt Busch, notou: "Interfaces de usuário baseadas em voz tornarão possível para clientes entregarem novas experiências de usuário que trazem a próxima geração de ideias inovadoras do conceito à realidade. Já enviamos mais de 15 milhões de nossos NDPs de deep-learning globalmente para habilitar voz always-on em uma ampla variedade de aplicações consumer e industrial IoT. Nossa colaboração com Renesas entrega uma poderosa solução de voz e imagem de baixa potência que certamente acelerará tração entre uma base de clientes global em uma variedade de dispositivos e casos de uso."

A nova solução de IA multimodal controlada por voz baseia-se em múltiplos dispositivos compatíveis do portfólio mais amplo da Renesas, fornecendo aos clientes uma plataforma de prototipagem elevada para time-to-market mais rápido e risco reduzido. Como parte das "winning combinations" da Renesas, que emparelham produtos analógicos, de potência e processamento embarcados atraentes, a solução ajuda clientes a acelerar design e lançar novos produtos mais rapidamente.

Um design de referência para a solução de IA multimodal, incluindo diagramas de circuito e listas de BOM, está agora disponível.