Treinar Grande Rede Neural Gera 284.000 kg de CO₂ — Equivalente a 5 Carros

Avanços recentes no campo de inteligência artificial (IA) inauguraram uma nova era de grandes redes treinadas em dados massivos. Estas redes têm melhorias drásticas de precisão em várias tarefas básicas de processamento de linguagem natural (NLP).

Os modelos mais famintos por recursos, em particular, alcançaram as maiores pontuações. No entanto, treinar tais modelos requer uma enorme quantidade de recursos computacionais, que demandam energia significativa.

Recentemente, pesquisadores da Universidade de Massachusetts Amherst publicaram um artigo no qual descreveram emissões de dióxido de carbono de modelos de IA, realizando uma avaliação do ciclo de vida para treinamento de grandes redes neurais.

Há uma década, modelos de NLP podiam ser desenvolvidos e treinados em um servidor convencional ou laptop, mas não é mais o caso. Hoje, modelos altamente precisos requerem múltiplas instâncias de TPUs (unidades de processamento tensorial) ou GPUs. Pesquisas e experimentos com arquiteturas de modelos e hiperparâmetros elevaram ainda mais os custos de hardware.

Alimentar tal hardware por semanas deixa um impacto substancial no meio ambiente. Embora parte desta energia venha de fontes renováveis, é limitada à tecnologia que temos atualmente para gerar e armazená-la. Na verdade, a maioria dos locais não tem instalações suficientes para derivar energia de fontes neutras em carbono.

Emissão de Carbono do Treinamento de Modelos NLP

Neste estudo, os pesquisadores caracterizaram as emissões de carbono e custos resultantes do treinamento de grandes redes neurais. Estimaram quantos quilowatts de energia são necessários para desenvolver e ajustar modelos populares de NLP. Então converteram em custos aproximados de eletricidade e emissões de carbono.

As descobertas mostram que desenvolver e otimizar um grande pipeline de NLP poderia emitir 284.000 quilogramas de dióxido de carbono, o que equivale a 5 vezes a emissão vitalícia de um carro médio (incluindo seu processo de fabricação).

Tanto custos financeiros quanto ambientais aumentam proporcionalmente ao tamanho dos modelos de IA. Mas quando se adicionam funções de ajuste para melhorar ainda mais a precisão do modelo, os custos associados explodem.

Mais especificamente, a função de ajuste (também chamada busca de arquitetura neural) — ajusta iterativamente o design da rede através de tentativa e erro intensivo — leva a custos extremamente altos para pequenas melhorias de desempenho.

Considerando as tendências atuais no campo de IA, a significância desta pesquisa é enorme. Muitas instalações de pesquisa em IA negligenciam a eficiência, pois modelos de redes treinados em dados abundantes têm sido úteis em várias tarefas.

Embora algoritmos computacionalmente eficientes existam, eles são dificilmente usados na prática para otimizar modelos de NLP, devido às suas incompatibilidades com as estruturas de deep learning mais comuns como TensorFlow e PyTorch.

Segundo os pesquisadores, este tipo de pesquisa deve ser realizada para aumentar a conscientização sobre o uso extensivo de recursos e promover práticas e políticas conscientes.