Otimizando Desempenho com Arquiteturas de Inferência Multi-Chip

Nos últimos dois anos, viu-se uma enxurrada de inovação no design de chips de inferência. Embora novas soluções apareçam quase semanalmente, muitas empresas lutam para compará-las porque benchmarks confiáveis são escassos. Até agora, fornecedores anunciavam TOPS ou TOPS/Watt sem detalhar modelos, tamanhos de batch ou condições de operação, e o popular benchmark ResNet-50 é demasiado simplista para a maioria das cargas de trabalho reais.

O que realmente importa ao medir o desempenho de um chip de inferência são alta utilização de MAC, baixo consumo de energia e uma pegada de silício compacta. Uma vez compreendidas essas métricas, o próximo passo lógico é explorar os benefícios – e armadilhas – de implantar múltiplos chips em um único design.

Por Que Múltiplos Chips Podem Entregar Ganhos Lineares

Quando um chip é projetado para paralelismo, escalar para duas, quatro ou mais unidades pode, em teoria, aumentar a vazão proporcionalmente – muito como expandir uma rodovia de uma pista para um corredor multi-pista. A chave é evitar gargalos de tráfego escolhendo o chip certo e particionando a rede neural corretamente.

Particionando uma Rede Neural entre Chips

Redes neurais são organizadas em camadas. Cada camada consome as ativações de saída da anterior. Em modelos profundos como ResNet-50 (50 camadas) ou YOLOv3 (mais de 100 camadas), camadas iniciais geram as maiores ativações, que encolhem gradualmente à medida que a rede progride.

Para dividir um modelo entre múltiplos chips, examine tanto o tamanho da ativação quanto o número de operações Multiply-Accumulate (MAC) por camada. O objetivo é equilibrar a carga de trabalho: cada chip deve lidar com um número comparável de MACs e volumes de dados semelhantes. Se um chip processa a maior parte do trabalho enquanto o outro fica ocioso, a vazão geral é limitada pela unidade mais lenta.

Além disso, o ponto de corte no modelo determina os dados que devem ser transferidos entre chips. Escolher uma divisão onde o tamanho da ativação é mínimo reduz requisitos de largura de banda inter-chip e latência, impedindo que o link de comunicação se torne um gargalo de desempenho.

Exemplo Ilustrativo: YOLOv3 em Dois vs. Quatro Chips

Para YOLOv3 rodando em uma imagem de 2 megapixels usando o algoritmo de convolução Winograd, as operações MAC cumulativas e tamanhos de saída de ativação são ilustrados abaixo. Uma configuração de dois chips tipicamente divide a carga de trabalho próxima à marca de 50% MAC, resultando em ~1–2 MB de ativações passadas entre chips. Uma configuração de quatro chips colocaria cortes em aproximadamente 25%, 50% e 75%, com o corte mais inicial frequentemente exigindo 4–8 MB de transferência de dados.

Clique aqui para imagem maior

Tamanho de saída de ativação (barras azuis) e operações MAC cumulativas (linha vermelha) para YOLOv3/Winograd/imagens 2Mpixel, ilustrando distribuição de carga entre múltiplos chips (Imagem: Flex Logix)

Aproveitando Ferramentas de Modelagem de Desempenho

Ferramentas modernas de performance agora podem modelar configurações tanto single-chip quanto multi-chip. Elas contam com contagens de MAC por camada, tamanhos de ativação e o impacto de largura de banda de transferência de dados. Modelagem precisa é essencial porque largura de banda inter-chip insuficiente pode negar o speedup teórico.

Para um pipeline de quatro chips, as demandas de largura de banda aumentam porque as camadas iniciais – onde as ativações são maiores – devem ser compartilhadas entre todas as unidades. Embora largura de banda maior suporte mais chips, também adiciona overhead que todo chip deve carregar, mesmo se implantado individualmente.

Conclusão

Implantar múltiplos chips de inferência pode desbloquear melhorias significativas de desempenho, mas apenas quando a rede neural é particionada inteligentemente e a arquitetura do chip escolhido suporta alta utilização de MAC e movimento de dados eficiente. Priorize vazão sobre benchmarks de manchete como TOPS ou scores ResNet-50, e projete a rede para corresponder aos pontos fortes do chip. Com a estratégia certa, você pode transformar um pipeline de inferência de pista única em um sistema de alta capacidade e baixa latência.

— Geoff Tate, CEO da Flex Logix