As plataformas Edge AI superam GPU / CPU em desempenho e eficiência

Oferecendo o que chama de uma inovação em hardware e software de computação de inteligência artificial (IA) para aplicativos de IA de ponta e superando as limitações de GPU / CPU legadas, Blaize anunciou novas plataformas embarcadas e aceleradoras, Pathfinder e Xplorer, que permitem o desenvolvimento de IA de ponta "sem código" .

As plataformas são construídas na arquitetura Blaize Graph Stream Processor (GSP). De acordo com a empresa, com 16 núcleos GSP e 16TOPS de desempenho de inferência AI dentro de um envelope de energia de 7W, o GSP pode fornecer até 60x melhor eficiência no nível do sistema em comparação com GPU / CPUs para aplicativos de AI de ponta. Ele também permite largura de banda de memória 50x menor e latência 10x menor. O Blaize GSP é um processador 100% programável e possui recursos avançados, como multi-threading e streaming.

Blaize disse que seus clientes de acesso antecipado para Pathfinder e Xplorer estão buscando implementações de produção de casos de uso de visão inteligente de borda de IA em tempo real antes inviáveis ​​em aplicações industriais, automobilísticas, de varejo inteligente, metropolitanas e de fábrica. O cofundador e CEO da empresa, Dinakar Munagala, disse:“As soluções de ponta de hoje são muito pequenas para calcular a carga ou muito caras e difíceis de produzir. Os produtos de computação de ponta da Blaize AI superam essas limitações de potência, complexidade e custo para liberar a adoção de IA na ponta, facilitando a migração da computação de IA do data center para a ponta. ” Espera-se que os mercados da Edge AI cresçam rapidamente à medida que a funcionalidade de AI se torna um requisito para muitos novos produtos. Os projetos da Omdia Research aumentam a receita do chipset AI para chegar a US $ 51 bilhões em 2025.

Os dois novos produtos da Blaize são o Pathfinder P1600, um sistema integrado no módulo (SOM), e a plataforma aceleradora Xplorer. Blaize disse que o P1600 traz os benefícios de programabilidade e eficiência do GSP para aplicativos de IA de borda incorporados implantados na borda do sensor ou na borda da rede. Nenhum processador host é necessário para o P1600, portanto, basta "conectar e pronto".

As plataformas Xplorer aceleram os aplicativos de IA na borda da empresa por meio do plug-in para o slot PCIe em um servidor host ou dispositivo. O X1600E é uma plataforma aceleradora de fator de forma pequeno para ambientes pequenos e com restrição de energia, como lojas de conveniência ou locais industriais. Ele pode ser facilmente adicionado para acelerar aplicativos de IA em PCs industriais ou como um rack de cartões em um pequeno servidor 1U. Ou existe o X1600P, que é um acelerador padrão baseado em PCIe em formato de meia altura e meia largura. O X1600P pode substituir uma GPU de desktop que consome muita energia em servidores de borda e fornecer em qualquer lugar de 16-64TOPS de desempenho de inferência AI em um envelope de energia muito baixo.

O pacote de software Blaize AI é construído em padrões abertos com facilidade de acessibilidade, o que significa que os desenvolvedores de produtos não estão presos a ambientes de desenvolvimento proprietários. Composto pelo kit de desenvolvimento de software (SDK) do Picasso e pelo AI Studio, uma interface visual totalmente livre de códigos, o pacote de software oferece ferramentas para desenvolvedores tradicionais e especialistas em domínio não codificadores. Além disso, os dois conjuntos de ferramentas utilizam Blaize Netdeploy, um sistema Blaize com algoritmos de reconhecimento de borda para obter a melhor precisão e desempenho para implantações de borda.

Clientes prova de conceito

Blaize disse que tem uma série de clientes de prova de conceito (POC) usando seu sistema para habilitar IA no limite. Os aplicativos estão em:

• Industrial:executando cinco redes neurais independentes a 50 FPS com latência agregada de menos de 100 ms, monitorando a detecção e posição de pose de humanos e robôs, ID e contagem do produto e qualidade do produto.
• Smart City:três redes neurais independentes funcionando a 50FPS, monitorando a detecção humana, pose, posição, detecção automática e segurança e segurança na interseção de tráfego.
• Fusão de sensores:vídeo FHD de alta resolução e fusão de sensores lidar / radar rodando como um aplicativo gráfico nativo completo no Blaize GSP.
• Entrega da última milha:fusão de sensores de câmeras HD a 30FPS &lidar / radar com latência inferior a 100 ms e potência inferior a 15 W.
• Varejo:quatro redes neurais independentes em execução a 50FPS, monitorando a detecção humana, posição, máscara e roubo para segurança da loja e detecção de produtos.

Amostras de clientes de ambas as linhas de produtos estão disponíveis agora com produção total prevista a partir deste ano. O Blaize Xplorer X1600E está disponível por $ 299 em quantidade de volume, o Pathfinder P1600 SOM está disponível em nível industrial por $ 399 em quantidade de volume e o Xplorer X1600P está disponível por $ 999 em quantidades de volume.