Pioneiro de IA Alerta que Foco Atual em Hardware de IA Está Equivocado

Yann LeCun, Chief AI Scientist do Facebook, alertou em seu keynote no NeurIPS que focar em hardware exótico é um erro. Ele examinou a evolução de chips especializados para redes neurais, compartilhou o trabalho atual do Facebook e ofereceu previsões para hardware de deep-learning.

História antiga

LeCun, figura pioneira em IA desde os anos 1980, estava entre os primeiros a desenvolver processadores dedicados para redes neurais enquanto nos Bell Labs. Aqueles dispositivos iniciais, construídos de arrays de resistores para realizar multiplicação de matriz, foram a base para avanços posteriores.

Conforme redes neurais caíram em desgraça no final dos anos 1990 e início dos 2000, LeCun foi um dos poucos cientistas que manteve o campo vivo. Em seu keynote ele refletiu sobre as lições de hardware aprendidas durante aquela era.

Yann LeCun, Chief AI Scientist do Facebook

Primeiro, ferramentas são cruciais. Nos anos 90, apenas um punhado de pesquisadores — LeCun incluído — tinha software capaz de treinar redes neurais. A equipe passou anos construindo o que agora seria chamado de framework de deep-learning, uma camada flexível que traduz código high-level em rotinas de treinamento eficientes. Este breakthrough estabeleceu base para frameworks modernos como TensorFlow e PyTorch, onde modelos são montados de módulos diferenciáveis que podem ser auto-diferenciados.

As ferramentas certas deram à equipe de LeCun um "superpoder" e permitiram pesquisa reproduzível. Ele enfatizou que resultados sólidos devem ser reproduzíveis; caso contrário, a comunidade permanece cética.

Performance de hardware é igualmente importante. LeCun notou que capacidades de hardware de pesquisa moldam a agenda de pesquisa. "Ideias que são abandonadas frequentemente o fazem porque o hardware disponível é insuficiente", disse ele. "Um mismatch entre ambições de pesquisa e realidades de hardware pode desviar direções promissoras."

LeCun alertou contra perseguir métodos de fabricação exóticos que falham em integrar com o ecossistema de computação existente.

Ele também destacou um mismatch chave nos aceleradores de hoje: a maioria é otimizada para multiplicação de matriz em vez de convolução, a operação core de redes modernas de processamento de imagem e fala. "A abordagem prevalente se tornará cada vez mais desalinhada conforme demandas de energia crescem", ele alertou. "Se 95% dos ciclos são gastos em convoluções, o hardware é fundamentalmente sub-ótimo."

Killer app

Olhando adiante, LeCun vê redes neurais convolucionais permeando dispositivos cotidianos — de brinquedos a aspiradores a equipamentos médicos. O único "killer app" que desbloqueará o valor da IA em dispositivos consumidor, no entanto, é o headset de realidade aumentada.

O Facebook está ativamente desenvolvendo hardware para óculos AR. O desafio reside em entregar computação de baixa latência, alimentada por bateria. "Quando o usuário move, os objetos virtuais devem permanecer ancorados ao mundo, não ao headset", LeCun explicou, sublinhando a necessidade de tracking em tempo real.

O Facebook visualiza óculos AR que respondem a comandos de voz e hand tracking baseado em gestos. Embora estas capacidades existam hoje, falham em termos de potência, performance e form factor. LeCun delineou vários truques práticos para fechar a lacuna.

Por exemplo, quando a mesma rede neural processa cada frame de um vídeo — como detecção de objetos — imprecisões por-frame podem ser toleradas porque consistência temporal através de frames pode ser enforçada. Isso permite uso de hardware ultra-baixo consumo, imperfeito, que pode experimentar bit-flips ocasionais, alcançável reduzindo tensão de alimentação.

Desenvolvimentos de neural-net

A rápida evolução de arquiteturas de redes neurais posa desafio de design para hardware. Redes dinâmicas que aprendem padrões sequenciais, como muitos modelos NLP, requerem otimização de grafo em runtime e lutam com batching. LeCun notou que a maioria do hardware existente assume batch size >1, o que força pesquisadores a processar batches maiores que o setting ótimo do modelo.

Ele instou a comunidade de hardware a criar arquiteturas que performem bem com batch size 1, tanto para inferência quanto para treinamento, onde o batch size ideal é frequentemente um.

Self-supervised learning

LeCun alertou que paradigmas de aprendizado mudarão dramaticamente. Humanos e animais aprendem através de observação — um processo que ele chama de self-supervised learning — em vez de através de labels explícitos ou sinais de reforço. Esta abordagem, agora padrão em NLP baseado em transformer, treina um modelo para prever porções mascaradas de dados de entrada.

Embora self-supervised learning seja altamente efetivo, ele eleva requisitos de memória. Os maiores modelos transformer de hoje contêm até cinco bilhões de parâmetros e não cabem em uma única GPU, necessitando particionamento de modelo.

"Self-supervised learning é o futuro", LeCun afirmou. "Exige memória massiva e recursos computacionais, e a corrida de hardware se intensificará conforme treinamos modelos cada vez maiores em dados unlabeled abundantes."

Tendências de hardware

LeCun mantém olho em conceitos emergentes de hardware como computação analógica, spintrônica e sistemas ópticos. Ele apontou que gargalos de comunicação — convertendo sinais entre hardware novo e sistemas mainstream — são um grande obstáculo. Designs analógicos dependem de ativações esparsas para reduzir consumo de energia, mas a viabilidade de sustentar esparsidade permanece incerta.

Ele permanece cético de abordagens futuristas como spiking neural networks e chips neuromórficos. "Antes de construir chips, os algoritmos devem provar-se", ele disse. "Impulsionar design de hardware à frente de maturidade algorítmica é arriscado."

Timeline de Processamento de Rede Neural

Final dos anos 1980: Arrays de resistores são usados para multiplicação de matriz. No final dos anos 1980, os arrays ganharam amplificadores e conversores ao redor mas ainda são bastante primitivos pelos padrões atuais. A limitação é quão rápido dados podem ser alimentados no chip.
1991: O primeiro chip projetado para redes neurais convolucionais (CNNs) é construído. O chip é capaz de 320 giga-operations per second (GOPS) em dados binários, com shift registers digitais que minimizam tráfego externo necessário para realizar convolução, acelerando operação. O chip não vê uso além da academia.
1992: ANNA, chip ALU de rede neural analógica, estreia. Projetado para CNNs com pesos de 6-bit e ativações de 3-bit, ANNA contém 180.000 transistores em CMOS 0,9-µm. É usado para reconhecimento óptico de caracteres de texto manuscrito.
1996: DIANA, versão digital da ANNA, é lançada. Mas com redes neurais caindo em desgraça em meados dos anos 1990, DIANA é eventualmente repurposed para processamento de sinal em torres de celular.
2009–2010: Pesquisadores demonstram acelerador de rede neural em hardware em FPGA (Xilinx Virtex 6). Roda demo para semantic segmentation para driving automatizado e é capaz de 150 GOPS a cerca de 0,5 W. A equipe, da Purdue University, tenta fazer ASIC baseada neste trabalho, mas o projeto prova-se mal-sucedido. (Fonte: Yann Le Cun/Facebook)