Numa noite quente de agosto no Vale do Silício, o sol baixou e a carga dos sistemas de ar-condicionado disparou. A concessionária Silicon Valley Power enviou um sinal a uma fábrica de IA pedindo ajuste no consumo de eletricidade.
Numa sala de conferências em São Francisco, Varun Sivaram acompanhava tudo por Zoom ao lado de cerca de 40 pessoas. Estavam lá sua equipe na Emerald AI, engenheiros do data center e representantes da distribuidora de energia.
Ninguém tocou em nada.
A plataforma Conductor, da Emerald AI, recebe sinais sobre as condições da rede e reajusta cargas flexíveis de computação. A empresa é parceira da NVIDIA e exemplo inicial do tipo de flexibilidade que o NVIDIA DSX Flex foi criado para entregar.
Trabalhos que podem esperar são desacelerados ou reprogramados. Os serviços de maior prioridade seguem operando.
Naquela noite, a potência caiu de quatro megawatts para três, de forma automática, sem interromper nenhuma tarefa crítica. Quando a redução apareceu na tela, a sala comemorou.
"Ficamos assistindo com a respiração presa", disse Sivaram. Ele afirmou ser a primeira vez que a equipe fazia esse tipo de implantação em milhares de GPUs NVIDIA.
Mansi Shah, chefe de produto da Emerald AI, se emocionou e comparou o momento a um lançamento de foguete da SpaceX. Desde então, a Silicon Valley Power já enviou mais de 200 sinais de demanda àquela fábrica de IA.
Funcionou em todas as ocasiões.
Da prova de conceito ao programa comercial
O episódio de Santa Clara não é uma instalação do DSX Flex. É algo anterior e mais relevante: a comprovação de que o conceito funciona em escala comercial.
A fábrica de IA Eos, da NVIDIA, opera o Conductor da Emerald AI como participante do Flexible Load Interconnect Program da Silicon Valley Power. É o primeiro programa comercial de uma concessionária desenhado para tratar fábricas de IA como recursos despacháveis.
Quando a distribuidora envia um sinal, o Conductor responde em menos de um minuto. A lógica é direta: a fábrica disposta a flexibilizar seu consumo ganha espaço para operar em maior escala.
Esse é o padrão que o DSX Flex pretende generalizar, com o Conductor da Emerald AI sendo integrado à plataforma conforme ela amadurece.
Mesmo orçamento de energia, 24% mais tokens
Durante o AI Infra Summit, Ian Buck, vice-presidente de hyperscale e computação de alto desempenho da NVIDIA, colocou a eficiência das fábricas de IA no centro de sua keynote de infraestrutura. No mesmo dia, a provedora de nuvem Lambda divulgou os resultados de sua primeira validação em ambiente de implantação.
Um orçamento fixo de energia pode sustentar 24% mais vazão de tokens quando gerenciado de forma inteligente.
Os números vêm do DSX MaxLPS, na primeira validação do recurso sobre servidores com GPUs NVIDIA HGX B200. O software monitora o consumo de energia no nível das GPUs e dos racks e realoca a folga entre nós conforme o tipo de carga de trabalho.
Assim, recupera capacidade que o provisionamento estático deixaria ociosa.
Treinamento e inferência consomem energia de maneiras diferentes. O MaxLPS otimiza a alocação em fábricas que rodam os dois tipos de tarefa.
A Lambda, provedora de nuvem de GPU com mais de 10 mil clientes, de startups nativas de IA a hyperscalers, rodou o software num cluster de cinco racks e 19 nós.
Ao operar 19 nós dentro do mesmo orçamento de energia usado por 16 nós em potência máxima, a empresa alcançou 24% mais vazão de tokens no cluster, de aproximadamente 4 milhões para 5 milhões de tokens por segundo. O ganho em desempenho por watt foi de 23%.
"Com nossa prova de conceito, acreditamos ter superado a limitação dos orçamentos fixos de energia", afirmou Dave Ward, presidente de serviços de nuvem da Lambda. Segundo ele, o DSX MaxLPS abre caminho para recuperar capacidade ociosa e convertê-la em uso real, com densidade de computação bem maior na mesma área.
Segundo projeções da NVIDIA, o DSX MaxLPS pode viabilizar até 40% mais capacidade de GPU em fábricas de IA de próxima geração com Vera Rubin NVL72 dentro do mesmo orçamento de megawatts, em ambientes de implantação adequados.
Por que isso importa
Na economia das fábricas de IA, a energia é a restrição e o trabalho entregue por gigawatt é a métrica. Operadores de data center já perseguem eficiência em cada camada da pilha, do projeto da instalação à conversão de energia no nível do rack.
O DSX, apresentado na GTC Taipei em maio, estende essa disciplina ao próprio workload. A plataforma completa abrange rede, refrigeração, eficiência hídrica e desenho de instalações.
Recursos como o MaxLPS e o Flex atuam sobre provisionamento inteligente de racks e inteligência operacional: agendamento mais apertado, reinícios mais rápidos e checkpoints mais enxutos, mantendo as GPUs trabalhando em vez de esperando.
O objetivo é o mesmo que os operadores sempre perseguiram: extrair mais trabalho da energia disponível. Como resume Jensen Huang, fundador e CEO da NVIDIA, uma fábrica de um gigawatt nunca vai se tornar uma fábrica de dois gigawatts.
Quando os sistemas atingem limites físicos, a resposta da engenharia costuma ser a mesma: parar de otimizar as partes isoladas e passar a projetar o conjunto. É exatamente isso que o DSX propõe para a fábrica de IA, e as primeiras implantações já começam a comprovar.
