Neoclouds explicados:por que a IA precisa de computação em nuvem focada em GPU

As cargas de trabalho de IA estão se tornando comuns em praticamente todos os setores. Mas à medida que a procura por IA cresce, aumenta também a pressão sobre a infra-estrutura. Infelizmente, as opções tradicionais de acesso à computação de alto desempenho são insuficientes, levando as empresas a procurar alternativas. Alguns estão recorrendo às neoclouds, um novo tipo de provedor de serviços de computação centrado em ofertas centradas em GPU.

Estes novos fornecedores estão a ganhar interesse devido a uma mudança na computação; um caracterizado por uma dependência crescente de GPUs para IA. Embora as GPUs sejam adequadas para lidar com as necessidades de processamento paralelo de treinamento e inferência de IA, elas são notoriamente caras e escassas. Uma GPU de última geração pode custar dezenas de milhares de dólares, e isso somente se a empresa conseguir encontrar uma. Os ciclos de aquisição são longos, os prazos de entrega são imprevisíveis e as equipes de TI corporativas frequentemente lutam para adquirir capacidade suficiente para atender à demanda.

Provedores de nuvem em hiperescala, como AWS, Google Cloud e Azure, procuraram preencher a lacuna oferecendo instâncias de GPU e GPUs como serviço. Para muitas organizações, esse modelo funciona, mas apenas até certo ponto.

As instâncias de GPU baseadas em nuvem oferecem flexibilidade, escalabilidade e implantação rápida. Mas à medida que o uso aumenta, a conta também aumenta. O modelo de pagamento conforme o uso rapidamente se torna proibitivo em termos de custos em escala, especialmente para cargas de trabalho sustentadas, como treinamento em modelo de linguagem grande (LLM), ajuste fino ou inferência em tempo real em aplicativos corporativos.

Como resultado, muitas organizações ficam presas entre uma rocha (infraestrutura local escassa e cara) e uma situação difícil (altos custos de GPU em nuvem pública).

Entre nas Neonuvens

Neste ambiente, está a surgir uma nova categoria de fornecedor de computação:o fornecedor de neocloud. Os provedores de infraestrutura Neocloud oferecem computação de alto desempenho, fortemente centrada em GPUs, a preços mais acessíveis (pelo menos segundo eles). Conseguem-no aproveitando origens não convencionais, novos modelos económicos e diferentes estratégias de infraestruturas.

Por exemplo, algumas neonuvens têm suas raízes na mineração de criptomoedas. Durante o boom das criptomoedas da última década, milhares de mineradores em todo o mundo construíram data centers equipados com servidores GPU otimizados para operações de mineração. À medida que o mercado de criptomoedas esfriou e a mineração se tornou menos lucrativa, essas operadoras se viram com grandes quantidades de capacidade de GPU ociosa. Em vez de deixar esse hardware depreciar em um depósito, alguns redirecionaram seus equipamentos para cargas de trabalho de IA e, assim, nasceu a neonuvem.

Outros no setor são startups criadas especificamente para esse fim, que viram uma oportunidade de oferecer uma alternativa mais econômica aos hiperescaladores, otimizando o preço-desempenho e contornando a sobrecarga das operações de nuvem legadas. Alguns baseiam-se em pilhas de software de código aberto e são colocados em data centers de baixo custo; outros agregam o excesso de capacidade de GPU em redes descentralizadas, formando uma espécie de “mercado spot de GPU” que as empresas podem explorar a custos mais baixos.

Benefícios do modelo Neoclouds

Para empresas que buscam poder computacional de IA sem custos exorbitantes, os provedores de neocloud afirmam que podem oferecer vários benefícios, incluindo:

Custo mais baixo por hora de GPU :Neoclouds geralmente cobram uma fração do que os hiperescaladores cobram por instâncias de GPU comparáveis. Eles afirmam que seus modelos operacionais enxutos e estratégias de reutilização de hardware se traduzem em economias reais.

Acesso dedicado :Em muitos casos, os provedores de neocloud oferecem acesso bare metal dedicado às GPUs, reduzindo a contenção e garantindo um desempenho previsível.

Disponibilidade rápida :Com processos flexíveis de aquisição e provisionamento, os provedores de neocloud afirmam que muitas vezes podem fornecer capacidade muito mais rapidamente do que os fornecedores tradicionais, ajudando as equipes a iterar e implantar modelos de IA sem demora.

Descentralização e resiliência :algumas neonuvens operam em modelos distribuídos, obtendo computação de data centers geograficamente diversos ou de redes de operadoras independentes.

Sustentabilidade :A reaproveitamento do hardware existente, especialmente do setor de criptomoedas, reduz o lixo eletrônico e promove práticas de TI mais sustentáveis. Algumas neonuvens também estão localizadas em instalações alimentadas por energia renovável, reduzindo ainda mais a pegada de carbono.

Veja também: Mudança de mercado de GPU:aproveitando a queda da mineração de criptografia

GPUs como serviço, reinventadas

Em sua essência, as neoclouds representam uma nova abordagem do modelo GPU como serviço. As empresas consideradas provedoras de neocloud incluem CoreWeave, Crusoe, Lambda Labs, Nebius, Vast.ai e outras.

Eles estão menos focados em agrupar GPUs com serviços proprietários e mais interessados em fornecer computação bruta e de alto desempenho a um preço que torne a IA em grande escala viável para mais empresas.

Ao democratizar o acesso a GPUs acessíveis, os fornecedores de neocloud acreditam que podem reduzir a barreira de entrada para empresas que procuram construir ou dimensionar aplicações de IA. Pequenas startups podem treinar modelos personalizados sem gastar seu financiamento inicial. As empresas podem ajustar os LLMs em seus dados proprietários sem ceder controle ou gastos excessivos. E as instituições de investigação podem realizar simulações e experiências sem serem limitadas por restrições orçamentais.

Apesar dessas vantagens, os provedores de neocloud provavelmente competirão no futuro próximo com hiperescaladores no mercado de GPU como serviço. Esse mercado foi avaliado em 3,23 mil milhões de dólares em 2023 e deverá crescer para 49,84 mil milhões de dólares até 2032, representando uma taxa de crescimento de 36%, de acordo com a Fortune Business Insights. (Essa estimativa inclui hiperescaladores e neonuvens.)

Considerações Finais

Os requisitos de computação para IA continuam a crescer. Os provedores Neocloud são a nova geração de provedores de infraestrutura em nuvem com foco em IA que visam atender a essas necessidades. Eles se diferenciam dos hiperescaladores tradicionais (como AWS, Azure e GCP) concentrando-se na disponibilidade otimizada de GPU, preços flexíveis e desempenho especializado para cargas de trabalho de IA/ML, entre outros recursos importantes.