Chip Híbrido Data-Flow & Von Neumann da Quadric Acelera Cargas de Trabalho de IA e Visão

Uma nova arquitetura híbrida data-flow e Von Neumann pode acelerar cargas de trabalho incluindo redes neurais, aprendizado de máquina, visão computacional, DSP e subprogramas básicos de álgebra linear.

A Quadric, startup do Vale do Silício, projetou um acelerador que impulsiona tanto inferência de IA quanto algoritmos tradicionais de visão computacional em dispositivos de borda como robôs, automação de fábrica e imagem médica. O design híbrido único do hardware unifica princípios data-flow e Von Neumann, permitindo execução eficiente de redes neurais, aprendizado de máquina, DSP e rotinas de álgebra linear.

"Desde o início, reconhecemos que dispositivos de borda demandam mais que apenas IA," CEO Veerbhan Kheterpal disse ao EE Times. "Desenvolvedores precisam de um único sistema que possa rodar algoritmos clássicos de computação de alto desempenho junto com IA."

Kheterpal enfatizou que a arquitetura não é uma coleção de aceleradores discretos, mas um único conjunto de instruções data-paralelo que pode acelerar diversas cargas de trabalho, incluindo inferência de IA.

"Trabalhos recentes mostram que substituir camadas inteiras por transformadas rápidas de Fourier (FFT) pode acelerar dramaticamente transformers," disse Chief Product Officer Daniel Firu. A Quadric está preparada para acelerar tais cargas de trabalho, citando um paper do Google onde uma sub-camada de auto-atenção de encoder transformer foi trocada por FFT, alcançando 92% de precisão no benchmark BERT e treinando até sete vezes mais rápido em GPUs ou duas vezes mais rápido em TPUs.

Kit de desenvolvedor da Quadric, um cartão M.2 com processador Q16 e 4 GB de memória externa (Fonte: Quadric)

Robôs em Vinhedos

Os fundadores — Veerbhan Kheterpal, Daniel Firu e Nigel Drego — fundaram anteriormente a 21, uma empresa de mineração de bitcoin adquirida pela Coinbase. O foco inicial da Quadric foi em robôs agrícolas que percorriam vinhedos do Vale do Napa, detectando vazamentos de irrigação e pragas. No entanto, o alto custo de soluções baseadas em drones empurrou a equipe a explorar um acelerador personalizado.

"Percebemos que um sistema baseado em drone custaria US$ 5–10 mil, mas uma plataforma baseada em trator excederia US$ 50 mil com GPUs grandes e numerosas câmeras. Esse insight nos levou a projetar o chip acelerador que precisávamos," Kheterpal explicou.

Após uma rodada seed em 2017 e uma Série A de US$ 13 milhões liderada pela Tier-One automotiva Denso, a Quadric levantou US$ 18 milhões até o momento.

Design Turing-Completo

A arquitetura guiada por instruções da Quadric mescla conceitos data-flow e Von Neumann para substituir sistemas de borda heterogêneos com uma única solução flexível. Os núcleos Vortex Turing-completos entregam aceleração mantendo programabilidade. Arrays escaláveis e compatibilidade com processos de 7 ou 5 nm tornam o design adequado para dispositivos de borda com orçamentos de potência de centenas de miliwatts a 20 W.

O chip Q16 hospeda um array 16 × 16 de núcleos Vortex. Cada núcleo pode realizar multiplicação de matriz e operações de IA, e inclui uma ALU multifuncional para lógica, redução, shift e mais. Software expõe um amplo espectro algorítmico — de funções de ativação LSTM a fluxo de controle personalizado — usando declarações if-then-else através do array para explorar esparsidade de grão fino.

Cada núcleo desfruta acesso em ciclo único a seus vizinhos e memória in-core de 4 Kb, enquanto a memória on-chip fornece acesso a dados de baixa latência e determinístico.

Os núcleos executam em modo "single instruction, multiple decode": a mesma instrução é transmitida cada ciclo, mas dados de tempo de execução dinâmicos permitem que núcleos individuais a interpretem diferentemente, habilitando função heterogênea dentro de um array homogêneo.

Um barramento de broadcast dedicado transmite eficientemente constantes — como pesos de rede neural — para todos os núcleos simultaneamente. Unidades load-store estáticas, controladas por software, permitem tempos de execução de kernel determinísticos, com cargas dual-edge simultâneas e stores triple-edge reduzindo tempo de execução.

Daniel Firu (Fonte: Quadric)

"Carregar de um lado e armazenar de outro nos permite realizar remapeamentos de dados e rotações de imagem no nível de hardware," Firu disse.

Memórias estáticas on-chip, não caches, fornecem amplo espaço para grandes estruturas de dados. Os 8 GB de memória do Q16 podem manter múltiplos frame buffers HD ou um conjunto completo de pesos de rede neural.

Stack de Software

A Quadric construiu sua stack de software antes do silício, permitindo desenvolvedores prototiparem em simulador ou FPGA. A stack abstrai a arquitetura via compilador baseado em LLVM e API C++. O Source Mode suporta algoritmos data-paralelos com controle C++ sobre características arquiteturais, e pode expressar operações personalizadas conforme modelos de IA crescem em complexidade.

Stack de software da Quadric (Fonte: Quadric)

Um Graph Mode vindouro fornecerá interface no-code para modelos TensorFlow ou ONNX, apoiado por compilador DNN baseado em TVM que auto-gera código.

"A maioria das plataformas limita você ao seu próprio compilador de IA, mas nós oferecemos núcleos Turing-completos que podem executar qualquer operação," Kheterpal explicou. "Esta flexibilidade permite desenvolvedores implantarem algoritmos personalizados ou operadores não suportados sem restrição."

Roadmap do Chip

O Q16 entrega 256 núcleos Vortex em array 16 × 16 fabricado em silício 16 nm, alcançando 4 INT8 DNN TOPS. Roda ResNet-50 a 200 inferências por segundo em imagens 224 × 224, consumindo média de 2 W.

O roadmap da Quadric inclui uma arquitetura de segunda geração e um chip Q32 — array de 1.000 núcleos — visando manufatura 7 nm. O Q32 pode também integrar núcleos ARM ou RISC-V para servir como processador host.

Um kit de desenvolvedor M.2 apresentando o processador Q16 e 4 GB de memória externa está disponível hoje.

>> Este artigo foi originalmente publicado em nosso site irmão, EE Times.

Conteúdos Relacionados:

• Aceleradores de hardware servem aplicações de IA
• Quando um DSP vence um acelerador de hardware
• Guia para acelerar aplicações com instruções customizadas RISC-V certas
• Desempenho de chip de inferência baseia-se em design otimizado de subsistema de memória
• Novos módulos de aceleração de IA aprimoram desempenho de borda
• IA de borda desafia tecnologia de memória

Para mais Embedded, assine a newsletter semanal por e-mail da Embedded.