Aceleradores de hardware atendem aplicativos AI

Aceleradores de hardware - dispositivos especializados usados ​​para realizar tarefas específicas, como classificar objetos - estão cada vez mais integrados em sistemas em chips (SoCs) que atendem a vários aplicativos de IA. Eles ajudam a criar processadores personalizados fortemente integrados que oferecem menor consumo de energia, menor latência, reutilização de dados e localidade de dados.

Para começar, é necessário acelerar por hardware os algoritmos de IA. Os aceleradores de IA são especificamente projetados para permitir um processamento mais rápido de tarefas de IA; eles executam tarefas específicas de uma forma que não é viável com os processadores tradicionais.

Além disso, nenhum processador pode atender às diversas necessidades dos aplicativos de IA e, aqui, os aceleradores de hardware incorporados aos chips de IA fornecem vantagens de desempenho, eficiência de energia e latência para cargas de trabalho específicas. É por isso que as arquiteturas personalizadas baseadas em aceleradores de IA estão começando a desafiar o uso de CPUs e GPUs para aplicativos de IA.

Os projetistas de chips de IA devem determinar o que acelerar, como acelerar e como interconectar essa funcionalidade com a rede neural. Abaixo está um instantâneo das principais tendências do setor que definem o uso de aceleradores de hardware nas cargas de trabalho de IA em evolução. Inevitavelmente, ele começa com aceleradores de IA disponíveis para integração em uma variedade de chips e cartões de IA.

IPs de acelerador de IA

Os aceleradores de hardware são usados ​​extensivamente em chips de IA para segmentar e agilizar tarefas com uso intensivo de dados, como visão computacional e aprendizado profundo, tanto para aplicativos de treinamento quanto de inferência. Esses núcleos de IA aceleram as redes neurais em estruturas de IA, como Caffe, PyTorch e TensorFlow.

A Gyrfalcon Technology Inc. (GTI) projeta chips de IA e fornece aceleradores de IA para uso em designs de SoC personalizados por meio de um modelo de licenciamento IP. A empresa iniciante de AI com sede em Milpitas, Califórnia, oferece os aceleradores de AI Lightspeeur 2801 e 2803 para aplicativos de ponta e nuvem, respectivamente.

É importante observar que a Gyrfalcon também desenvolveu chips de IA em torno desses aceleradores de hardware, e isso torna esses aceleradores de IA comprovados em silício. O chip 2801 AI da empresa para projetos de ponta realiza operações de 9,3 tera por segundo por watt (TOPS / W), enquanto seu chip 2803 AI para aplicações de data center pode fornecer 24 TOPS / W.

Junto com ferramentas de desenvolvimento de IP e documentação técnica, Gyrfalcon fornece designers de IA com dongles USB 3.0 para criação de modelo, avaliação de chip e designs de prova de conceito. Os licenciados podem usar esses dongles em PCs com Windows e Linux, bem como em kits de desenvolvimento de hardware como o Raspberry Pi.

Arquitetura de hardware

A premissa básica dos aceleradores de IA é processar algoritmos mais rápido do que nunca, usando o mínimo de energia possível. Eles executam aceleração na extremidade, no data center ou em algum lugar entre eles. E os aceleradores de IA podem executar essas tarefas em ASICs, GPUs, FPGAs, DSPs ou uma versão híbrida desses dispositivos.

Isso inevitavelmente leva a várias arquiteturas de acelerador de hardware otimizadas para aprendizado de máquina (ML), aprendizado profundo, processamento de linguagem natural e outras cargas de trabalho de IA. Por exemplo, alguns ASICs são projetados para serem executados em redes neurais profundas (DNNs), que, por sua vez, podem ter sido treinados em uma GPU ou outro ASIC.

O que torna a arquitetura do acelerador de IA crucial é o fato de que as tarefas de IA podem ser massivamente paralelas. Além disso, o design do acelerador de IA está entrelaçado com a implementação de vários núcleos e isso acentua a importância crítica da arquitetura do acelerador de IA.

Em seguida, os projetos de IA estão cortando os algoritmos cada vez mais detalhadamente, adicionando mais e mais aceleradores especificamente criados para aumentar a eficiência da rede neural. Quanto mais específico for o caso de uso, mais oportunidades existirão para o uso granular de muitos tipos de aceleradores de hardware.

Aqui, vale a pena mencionar que, além dos aceleradores de IA incorporados em chips personalizados, os cartões aceleradores também estão sendo empregados para aumentar o desempenho e reduzir a latência em servidores em nuvem e data centers locais. As placas aceleradoras Alveo da Xilinx Inc., por exemplo, podem acelerar radicalmente a pesquisa de banco de dados, processamento de vídeo e análise de dados em comparação com CPUs ( Fig. 1 )

Fig. 1:As placas aceleradoras Alveo U250 aumentam a taxa de transferência de inferência em tempo real em 20 × em comparação com CPUs de última geração e reduzem a latência abaixo de 2 ms em mais de 4 × em comparação com aceleradores de função fixa como GPUs de última geração. (Imagem:Xilinx Inc.)

Programação

Há muitas mudanças dinâmicas acontecendo nos projetos de IA e, como resultado, os algoritmos de software estão mudando mais rápido do que os chips de IA podem ser projetados e fabricados. Ele ressalta um desafio importante para aceleradores de hardware que tendem a se tornar dispositivos de função fixa em tais casos.

Portanto, deve haver algum tipo de programabilidade nos aceleradores que permita aos designers se adaptarem às necessidades em evolução. A flexibilidade de design que vem com os recursos de programação também permite que os designers lidem com uma ampla variedade de cargas de trabalho de IA e topologias de rede neural.

A Intel Corp. respondeu a esse chamado de programabilidade em projetos de IA ao adquirir um desenvolvedor de aceleradores de aprendizagem profunda programáveis ​​com sede em Israel por aproximadamente US $ 2 bilhões. O processador Gaudi de Habana para treinamento e o processador Goya para inferência oferecem um ambiente de desenvolvimento fácil de programar ( Fig. 2 )

Fig. 2:É assim que as plataformas e ferramentas de desenvolvimento aceleram os designs de chips de IA usando os aceleradores de treinamento Gaudi. (Imagem:Habana)

IA na borda

Já está claro que o mercado de inferência de IA é muito maior do que o treinamento de IA. É por isso que a indústria está testemunhando uma variedade de chips sendo otimizados para uma ampla gama de cargas de trabalho de IA, desde o treinamento até a inferência.

Isso traz microcontroladores (MCUs) para o reino de design de IA que, de outra forma, tem sido principalmente associado a SoCs poderosos. Esses MCUs estão incorporando aceleradores de IA para atender a dispositivos industriais e IoT com recursos limitados em aplicativos como detecção de objetos, reconhecimento de rosto e gestos, processamento de linguagem natural e manutenção preditiva.

Veja o exemplo do acelerador Ethos U-55 microNPU ML da Arm que a NXP Semiconductors está integrando em seus microcontroladores baseados em Cortex-M, MCUs crossover e subsistemas em tempo real em processadores de aplicativos. O acelerador Ethos U-55 funciona em conjunto com o núcleo Cortex-M para obter uma pegada pequena. Suas técnicas de compactação avançadas economizam energia e reduzem os tamanhos dos modelos de ML significativamente para permitir a execução de redes neurais que antes eram executadas apenas em sistemas maiores.

O ambiente de desenvolvimento eIQ ML da NXP oferece aos designers de IA uma escolha de mecanismos de inferência de código aberto. Dependendo dos requisitos específicos do aplicativo, esses aceleradores de IA podem ser incorporados a uma variedade de elementos de computação:CPUs, GPUs, DSPs e NPUs.