Intel oferece chip neuromórfico Loihi 2 e estrutura de software

A Intel revelou seu chip de computação neuromórfico de segunda geração, Loihi 2, o primeiro chip a ser construído em sua tecnologia de processo Intel 4. Projetado para a pesquisa em redes neurais neuromórficas de ponta, Loihi 2 traz uma série de melhorias. Eles incluem um novo conjunto de instruções para neurônios que fornece mais programabilidade, permitindo que os picos tenham valores inteiros além de apenas 1 e 0 e a capacidade de escalar em malhas tridimensionais de chips para sistemas maiores.

A fabricante de chips também revelou o Lava, uma estrutura de software de código aberto para o desenvolvimento de aplicativos inspirados em neurônios. A Intel espera envolver pesquisadores neuromórficos no desenvolvimento do Lava, que, quando instalado e funcionando, permitirá que as equipes de pesquisa desenvolvam o trabalho uns dos outros.

Loihi é a versão da Intel de como deve ser o hardware neuromórfico, projetado para redes neurais de pico inspiradas no cérebro (SNNs). SNNs são usados ​​em computação baseada em eventos, em que o tempo de picos de entrada codifica as informações. Em geral, os picos que chegam mais cedo têm mais efeito computacional do que os que chegam mais tarde.

Processador neuromórfico de segunda geração Loihi 2 da Intel. (Fonte:Intel)
Entre as principais diferenças entre hardware neuromórfico e CPUs padrão está a distribuição refinada de memória, o que significa que a memória de Loihi está incorporada em núcleos individuais. Como os picos de Loihi dependem do tempo, a arquitetura é assíncrona.

“Na computação neuromórfica, a computação está surgindo por meio da interação entre esses elementos dinâmicos”, explicou Mike Davies, diretor do Laboratório de Computação Neuromórfica da Intel. “Nesse caso, são os neurônios que têm essa propriedade dinâmica de se adaptar online à entrada que recebe, e o programador pode não saber a trajetória precisa das etapas pelas quais o chip passará para chegar a uma resposta.

“Ela passa por um processo dinâmico de auto-organização de seus estados e se acomoda em alguma nova condição. Esse ponto fixo final, como o chamamos, ou estado de equilíbrio, é o que codifica a resposta ao problema que você deseja resolver ”, acrescentou Davies. “Portanto, é fundamentalmente diferente de como pensamos sobre a computação em outras arquiteturas.”

Os chips Loihi de primeira geração foram demonstrados até agora em uma variedade de aplicações de pesquisa, incluindo o controle adaptativo do braço do robô, onde o movimento se adapta às mudanças no sistema, reduzindo o atrito e o desgaste do braço. Loihi é capaz de adaptar seu algoritmo de controle para compensar erros ou comportamento imprevisível, permitindo que os robôs operem com a precisão desejada. Loihi também foi usado em um sistema que reconhece cheiros diferentes. Nesse cenário, ele pode aprender e detectar novos odores com muito mais eficiência do que um equivalente baseado em aprendizado profundo. Um projeto com a Deutsche Bahn também usou Loihi para a programação de trens. O sistema reagiu rapidamente às mudanças, como fechamento de trilhos ou trens parados.

Recursos de segunda geração

Construído em uma versão de pré-produção do processo Intel 4, Loihi 2 visa aumentar a programabilidade e o desempenho sem comprometer a eficiência energética. Como seu antecessor, ele normalmente consome cerca de 100 mW (até 1 W).

Um aumento na densidade de recursos é uma das mudanças mais importantes; enquanto o chip ainda incorpora 128 núcleos, a contagem de neurônios aumenta por um fator de oito.

“Obter uma quantidade maior de armazenamento, neurônios e sinapses em um único chip é essencial para a viabilidade comercial ... e comercializá-los de uma forma que faça sentido para as aplicações do cliente”, disse Davies.

clique para imagem em tamanho real

Recursos do Loihi 2. (Fonte:Intel)

Com a Loihi 1, as cargas de trabalho costumavam ser mapeadas na arquitetura de maneiras não ideais. Por exemplo, a contagem de neurônios frequentemente atingia o máximo enquanto a memória livre ainda estava disponível. A quantidade de memória em Loihi 2 é semelhante no total, mas foi dividida em bancos de memória que são mais flexíveis. A compactação adicional foi adicionada aos parâmetros de rede para minimizar a quantidade de memória necessária para modelos maiores. Isso libera memória que pode ser realocada para os neurônios.

O resultado é que Loihi 2 pode resolver problemas maiores com a mesma quantidade de memória, proporcionando um aumento de cerca de 15 vezes na capacidade da rede neural por milímetro ² da área do cavaco - tendo em mente que a área da matriz é reduzida pela metade em geral pela nova tecnologia de processo.

Programação do neurônio

A programação é outra modificação arquitetônica importante. Neurônios que eram anteriormente de função fixa, embora configuráveis, em Loihi 1 ganham um conjunto de instruções completo em Loihi 2. O conjunto de instruções inclui aritmética comum, comparação e instruções de fluxo de controle de programa. Esse nível de programação permitiria que vários tipos de SNN fossem executados com mais eficiência.

“Este é um tipo de microcódigo que nos permite programar modelos de neurônios quase arbitrários”, disse Davies. “Isso cobre os limites de Loihi [1], e onde geralmente encontramos mais valor de aplicação poderia ser desbloqueado com modelos de neurônios ainda mais complexos e mais ricos, o que não era o que esperávamos no início de Loihi. Mas agora podemos realmente abranger toda a extensão dos modelos de neurônios que nossos parceiros estão tentando investigar e o que o domínio da neurociência computacional [está] propondo e caracterizando ”.

A matriz Loihi 2 é a primeira a ser fabricada em uma versão de pré-produção da tecnologia de processo Intel 4. (Fonte:Intel)
Para Loihi 2, a ideia de picos também foi generalizada. Loihi 1 empregou picos binários estritos para espelhar o que é visto na biologia, onde picos não têm magnitude. Todas as informações são representadas pelo tempo de pico, e picos anteriores teriam maior efeito computacional do que picos posteriores. Em Loihi 2, os picos carregam uma carga útil inteira configurável disponível para o modelo de neurônio programável. Embora os cérebros biológicos não façam isso, Davies disse que foi relativamente fácil para a Intel adicionar à arquitetura de silício sem comprometer o desempenho.

“Este é um caso em que estamos partindo da estrita fidelidade biológica, especificamente porque entendemos qual é a importância, o aspecto de codificação de tempo disso”, disse ele. “Mas [percebemos] que podemos fazer melhor e podemos resolver os mesmos problemas com menos recursos se tivermos essa magnitude extra que pode ser enviada junto com esse pico.”

Mensagens generalizadas baseadas em eventos são a chave para o suporte de Loihi 2 de uma rede neural profunda chamada rede neural sigma-delta (SDNN), que é muito mais rápida do que a abordagem de tempo usada em Loihi 1. SDNNs calculam valores de ativação graduada da mesma maneira que os DNNs convencionais fazem, mas apenas comunicam mudanças significativas à medida que acontecem de maneira esparsa e orientada a eventos.

Dimensionamento 3D

Loihi 2 é cobrado até 10 vezes mais rápido do que seu antecessor no nível do circuito. Combinado com melhorias funcionais, o design pode oferecer ganhos de velocidade de até 10X, Davies afirmou. Loihi 2 suporta intervalos de tempo mínimos em todo o chip abaixo de 200 ns; ele também pode processar redes neuromórficas até 5.000 vezes mais rápido do que os neurônios biológicos.

O novo chip também possui portas de escalabilidade que permitem à Intel dimensionar redes neurais para a terceira dimensão. Sem memória externa para executar redes neurais maiores, Loihi 1 exigia vários dispositivos (como no sistema de chip 768-Loihi da Intel, Pohoiki Springs). Malhas planas de chips Loihi 1 tornam-se malhas 3D em Loihi 2. Enquanto isso, a largura de banda de chip a chip foi melhorada por um fator de quatro, com compactação e novos protocolos fornecendo um décimo do tráfego de pico redundante enviado entre os chips. Davies disse que o aumento de capacidade combinado é de cerca de 60 vezes para a maioria das cargas de trabalho, evitando gargalos causados ​​por links entre chips.

Também é suportado o aprendizado de três fatores, que é popular na pesquisa de algoritmos neuromórficos de ponta. A mesma modificação, que mapeia terceiros fatores para sinapses específicas, pode ser usada para aproximar a retropropagação, o método de treinamento usado no aprendizado profundo. Isso cria novas maneiras de aprender por meio da Loihi.

Loihi 2 estará disponível para pesquisadores como uma placa de chip único para o desenvolvimento de aplicações de ponta (Oheo Gulch). Ele também será oferecido como uma placa de oito chips destinada a ser escalonada para aplicações mais exigentes. (Fonte:Intel)

Lava

A estrutura do software Lava completa as melhorias do Loihi. O projeto de código aberto está disponível para a comunidade de pesquisa neuromórfica.

“O software continua a reter o campo”, disse Davies. “Não houve muito progresso, não no mesmo ritmo que o hardware nos últimos anos. E não houve o surgimento de uma única estrutura de software, como vimos no mundo do aprendizado profundo, onde temos o TensorFlow e o PyTorch reunindo um grande impulso e uma base de usuários ”.

Embora a Intel tenha um portfólio de aplicativos demonstrado para Loihi, o compartilhamento de código entre as equipes de desenvolvimento tem sido limitado. Isso torna mais difícil para os desenvolvedores desenvolverem o progresso feito em outros lugares.

Promovido como um novo projeto, não um produto, Davies disse que o Lava é uma forma de construir uma estrutura que apóia os pesquisadores da Loihi que trabalham em uma variedade de algoritmos. Embora o Lava seja voltado para a passagem de mensagens assíncronas com base em eventos, ele também oferece suporte à execução heterogênea. Isso permite que os pesquisadores desenvolvam aplicativos que inicialmente rodam em CPUs. Com acesso ao hardware Loihi, os pesquisadores podem mapear partes da carga de trabalho no chip neuromórfico. A esperança é que essa abordagem ajude a diminuir a barreira de entrada.

“Vemos uma necessidade de convergência e um desenvolvimento comunitário aqui em direção a esse objetivo maior que será necessário para comercializar a tecnologia neuromórfica”, disse Davies.

Loihi 2 será usado por pesquisadores que desenvolvem algoritmos neuromórficos avançados. Oheo Gulch, um sistema de chip único para testes de laboratório, estará inicialmente disponível para pesquisadores, seguido por Kapoho Point, uma versão Loihi 2 de oito chips da baía de Kapoho. O Kapoho Point inclui uma interface Ethernet projetada para permitir que as placas sejam empilhadas para aplicações como robótica que requerem mais poder de computação.

O Lava está disponível para download no GitHub.

>> Este artigo foi publicado originalmente em nosso site irmão, EE Vezes.

---

Conteúdos Relacionados:

• Argumentando a existência de chips neuromórficos para computação de IA
• Spiking rede neural alvos Arm chips
• Chips de IA avançados para construir em tecnologias de memória emergentes
• Chips de IA neuromórficos para estreia de redes neurais de spiking
• O enigma do benchmarking da computação neuromórfica

Para obter mais informações sobre o Embedded, assine o boletim informativo semanal da Embedded por e-mail.