Dispositivos de baixo consumo de energia podem ouvir com uma cóclea de silício

À medida que avançamos em direção a detecção e computação mais onipresentes e sempre ativas, o poder se torna cada vez mais importante. Talvez não haja melhor exemplo de onde isso é importante do que os dispositivos ativados por voz em nossas mesas, em nossos bolsos e distribuídos em nossas casas. Como vimos no ano passado, a localização de palavras-chave em particular é atualmente um alvo para todos os tipos de tecnologias neuromórficas.

A cóclea de silício

O vencedor de 2020 do Prêmio Misha Mahowald de Engenharia Neuromórfica é o Prof. Shih-Chii Liu e sua equipe, que têm trabalhado em sensores de baixa latência e baixa potência para detecção de fala. Os sensores de áudio dinâmicos que Shih-Chii Liu e sua equipe do Instituto de Neuroinformática (INI) vêm desenvolvendo podem eventualmente atender a esse mercado. Em seu núcleo está uma cóclea de silício projetada para imitar a biologia. Primeiro, o som de entrada é filtrado em canais de frequência usando um conjunto de filtros passa-banda analógicos, cuja saída é retificada em meia onda. Juntos, isso emula a função das células ciliadas do ouvido.

Em um sistema de áudio convencional, o som é primeiro convertido usando um conversor analógico-digital e, em seguida, os recursos são extraídos usando transformada rápida de Fourier digital (FFT) e filtragem passa-banda (BPF). Estes são processados ​​por um processador de sinal digital (DSP) executando detecção de atividade de voz (VAD) ou algoritmos de reconhecimento automático de voz. B. No sensor de áudio dinâmico INI-Zurich, o sinal é recebido como bandas de áudio analógico do com recursos e as alterações são codificadas, em paralelo, em trens de picos assíncronos (eventos), que são então processados.

Como acontece na biologia, os diferentes canais são então preparados para serem processados ​​no cérebro. No ouvido, as células ganglionares codificam os sinais como uma onda de íons químicos:na cóclea de silício, eles são transformados em picos elétricos. Isso pode ser feito usando uma função clássica de integração e disparo ou um modulador delta assíncrono (ADM) que compara o sinal a dois limites e envia eventos apropriados conforme eles são passados, agindo assim como um extrator de recursos. Como os sinais inalteráveis ​​são ignorados, a quantidade de informações redundantes passada para o próximo estágio é reduzida.

Do ponto de vista do poder, se nada está acontecendo, a cóclea de silício quase não gasta energia, mas à medida que a atividade aumenta, aumenta também o número de picos. Dependendo da aplicação, isso pode ser uma grande vantagem (se houver muita escuta, mas muito pouca ação) ou nenhuma vantagem (quando há coisas relevantes para decodificar o tempo todo).

No entanto, como um sensor de áudio operando no regime de baixo µW, o chip pode oferecer aos projetistas de sistema uma opção valiosa para aumentar a eficiência energética. Ele também permite uma faixa dinâmica muito alta, já que há um escopo quase infinito para os picos estarem distantes ou próximos porque operam em tempo contínuo.

Reconhecimento de fala

Uma parte crítica deste trabalho foi demonstrar utilidade . Especificamente, os fluxos de eventos produzidos pela cóclea de silício podem ser usados ​​em aplicações reais, como detecção de atividade de voz, o primeiro estágio do reconhecimento de palavras-chave. Liu e sua equipe conseguiram fazer isso usando a saída do evento para criar quadros 2D de dados:histogramas dos picos que chegam, por frequência, dispostos ao longo dos 5ms do quadro. Chamados de cócleagramas, eles podem ser lidos em uma rede neural e seu significado decodificado a partir daí.

De acordo com Liu, “O uso de redes profundas em um sensor é de grande interesse para a comunidade IEEE ISSCC e muito oportuno, dado o grande interesse atual em computação de ponta de áudio.” Tem havido muitos artigos sobre ASICs de baixo consumo para localização de palavras-chave, diz ela, mas estes usam recursos convencionais semelhantes aos de espectrogramas. Um de seus objetivos, “é mostrar que soluções híbridas (designs de sinais analógicos mistos) podem levar a soluções de designs de energia ainda mais baixa com respostas de latência mais baixa”.

No ano passado, o INI lançou um vídeo mostrando o sistema reconhecendo dígitos (você pode ver Liu por volta de 2:06). Está longe de ser infalível, mas também é relativamente cedo no desenvolvimento do sistema. A equipe, que inclui Minhao Yang, Chang Gao, Enea Ceolini, Adrian Huber, Jithendar Anumula, Ilya Kiselev e Daniel Neil ao longo dos anos, também experimentou a fusão de sensores:Liu e seus colegas combinaram informações de áudio e visuais para fazer a classificação mais confiável [1]. Eles têm publicado regras de design inicial para escolher quando os sensores analógicos são vantajosos e quando é melhor ficar com o digital [2].

Misha Mahowald, um dos inventores da representação de eventos de endereços, e que deu nome ao Prêmio de Engenharia Neuromórfica.

Outro esforço constante envolveu a melhoria da eficiência energética e do desempenho do DAS. Parte disso envolveu olhar para a implementação das funções individuais, desde os filtros passa-banda baseados em seguidor de fonte até o projeto dos extratores de recursos analógicos.

A redução do efeito da variabilidade na eletrônica analógica tem sido outra área importante de pesquisa. Para ajudar nisso, eles construíram um emulador de hardware que poderiam usar para testar esses problemas muito mais rapidamente, dizem eles, do que seria possível com um software comercial como o Cadence Virtuoso. Ao treinar a rede neural binária que eles usam para classificação a partir do software em vez do hardware, eles foram capazes de prever com precisão o desempenho da classificação em uma variedade de chips de teste reais [3]. Eles agora estão procurando adicionar ruído ao sistema como um substituto para a variabilidade para tornar o processo de design ainda mais robusto.

Prêmio Mahowald

Liu foi um dos primeiros pesquisadores em engenharia neuromórfica; ela não apenas trabalhou no laboratório de Carver Mead em Caltech (onde Mahowald havia trabalhado), mas foi um membro fundador do Instituto de Neuroinformática quando muitos do grupo deixaram a Califórnia para Zurique.

Ao ganhar o prêmio, Liu disse:“É uma grande honra para nós receber este prêmio, especialmente com tantos bons pesquisadores em engenharia neuromórfica. O trabalho desenvolvido com base em décadas de projeto de cóclea de silício inicial que se estende de Dick Lyon, Carver Mead, Lloyd Watts, Rahul Sarpeshkar, Eric Vittoz e Andre van Schaik. ”

Sobre a importância da engenharia neuromórfica, ela diz:"Mesmo no final da lei de Moore, a computação digital ficará atrás da eficiência energética da biologia em pelo menos um fator de mil. Assim, a eficiência potencial dos sistemas eletrônicos analógicos híbridos, como o DAS, está se tornando mais importante do que nunca. ”

Referências

[1] D. Neil e S. C. Liu, "Effective sensor fusion with event-based sensores and deep network arquitetures," in Proceedings - IEEE International Symposium on Circuits and Systems , Julho de 2016, vol. 2016-julho, pp. 2282–2285, doi:10.1109 / ISCAS.2016.7539039.

[2] S. C. Liu, B. Rueckauer, E. Ceolini, A. Huber e T. Delbruck, "Event-Driven Sensing for Efficient Perception:Vision and audition algoritms," IEEE Signal Process. Mag. , vol. 36, não. 6, pp. 29–37, novembro de 2019, doi:10.1109 / MSP.2019.2928127.

[3] M. Yang, S.-C. Liu, M. Seok e C. Enz, "Ultra-Low-Power Intelligent Acoustic Sensing using Cochlea-Inspired Feature Extraction and DNN Classification."

[4] M. Yang, CH Chien, T. Delbruck e SC Liu, "A 0.5 V 55 μW 64 × 2 Channel Binaural Silicon Cochlea for Event-Driven Stereo-Audio Sensing," IEEE J. Solid-State Circuitos , vol. 51, nº 11, pp. 2554–2569, novembro de 2016, doi:10.1109 / JSSC.2016.2604285.

>> Este artigo foi publicado originalmente em nosso site irmão, EE Times.