Treinamento de uma grande rede neural pode emitir 284.000 quilogramas de CO2

• O desenvolvimento e a otimização de uma grande rede neural podem emitir até 284.000 quilos de dióxido de carbono.
• Isso é equivalente a 5 vezes a emissão ao longo da vida de um carro médio.

Avanços recentes no campo da inteligência artificial (IA) deram início a uma nova era de grandes redes treinadas em dados massivos. Essas redes têm melhorias drásticas de precisão em várias tarefas básicas de processamento de linguagem natural (PNL).

Os modelos que mais consomem recursos, em particular, alcançaram as pontuações mais altas. No entanto, o treinamento de tais modelos requer uma grande quantidade de recursos computacionais, que demandam energia significativa.

Recentemente, pesquisadores da Universidade de Massachusetts Amherst publicaram um artigo no qual descreviam as emissões de dióxido de carbono de modelos de IA, realizando uma avaliação do ciclo de vida para treinar grandes redes neurais.

Uma década atrás, os modelos de PNL podiam ser desenvolvidos e treinados em um servidor ou laptop convencional, mas esse não é mais o caso. Hoje, os modelos de alta precisão exigem várias instâncias de TPUs (unidades de processamento de tensor) ou GPUs. Pesquisas e experimentos com arquiteturas de modelo e hiperparâmetros aumentaram ainda mais os custos de hardware.

Ligar esse hardware por semanas causa um impacto significativo no meio ambiente. Embora parte dessa energia venha de fontes renováveis, ela se limita à tecnologia de que dispomos atualmente para gerá-la e armazená-la. Na verdade, a maioria dos locais possui recursos suficientes para derivar energia de fontes neutras em carbono.

Emissão de carbono a partir de modelos de PNL de treinamento

Neste estudo, os pesquisadores caracterizaram as emissões de carbono e os custos resultantes do treinamento de grandes redes neurais. Eles estimaram quantos quilowatts de energia são necessários para desenvolver e ajustar modelos populares de PNL. Eles então o converteram em custos aproximados de eletricidade e emissões de carbono.

Emissão estimada de CO2 de modelos de PNL em comparação com outros consumos familiares

As descobertas mostram que desenvolver e otimizar um grande pipeline de PNL pode emitir 284.000 kg de dióxido de carbono, o que é equivalente a 5 vezes a emissão ao longo da vida de um carro médio (incluindo seu processo de fabricação).

Referência:arXiv:1906.02243

Os custos financeiros e ambientais aumentam proporcionalmente ao tamanho dos modelos de IA. Mas, uma vez que você adiciona funções de ajuste para melhorar ainda mais a precisão do modelo, os custos associados explodem.

Mais especificamente, a função de ajuste (também chamada de pesquisa de arquitetura neural) - ajusta iterativamente o design da rede por meio de tentativa e erro intensiva - leva a custos extremamente altos para pequenas melhorias de desempenho.



Considerando as tendências atuais no campo da IA, a importância desta pesquisa é enorme. Muitas instalações de pesquisa de IA negligenciam a eficiência, pois os modelos de rede treinados em dados abundantes são considerados úteis em várias tarefas.

Leia:Folhas artificiais podem reduzir o dióxido de carbono da atmosfera

Embora existam algoritmos computacionalmente eficientes, eles dificilmente são usados ​​na prática para otimizar modelos de PNL, devido a suas incompatibilidades com os frameworks de aprendizado profundo mais comuns, como TensorFlow e PyTorch.

De acordo com os pesquisadores, esse tipo de pesquisa deve ser realizado para aumentar a consciência sobre o uso extensivo de recursos e promover a prática e políticas conscientes.