NVIDIA Vera Rubin: como os desenvolvedores vão escalar IA agêntica sem latência

A NVIDIA apresentou a plataforma Vera Rubin, que ataca o principal problema da escala de IA agêntica: a latência imprevisível em sessões de vários passos.

Por que escalar IA agêntica é mais difícil

O escalonamento convencional de modelos funciona para processamento em lote (batch): você envia muitos textos e recebe muitas respostas. A IA agêntica funciona de outro jeito. O agente toma uma decisão, executa uma ação, olha o resultado e toma a decisão seguinte. São centenas de requisições ao modelo em uma única sessão, cada uma com batch pequeno e requisito de velocidade muito rígido. Como a trajetória do agente não é conhecida de antemão (não se sabe qual ação ele vai escolher), compilar e otimizar o processamento é difícil. Os atrasos se acumulam, e o contexto de 400K tokens vira gargalo.

A solução de três camadas do Vera Rubin

Em vez de uma abordagem universal, a NVIDIA integrou à plataforma três tecnologias que trabalham juntas:

• Conexões diretas por cabo entre chips: cada LPU se liga a outras 96 a 112 Gbit/s, entregando 640 TB/s de largura de banda por rack sem switches
• Um compilador que planeja todas as transferências de dados com antecedência: em vez de decidir em tempo de execução quando e para onde enviar os dados, o compilador calcula previamente cada bit de informação que circula pela rede
• Sincronização de milhares de chips independentes: o sistema alinha os clocks dos aceleradores LPU para que a rede opere com latência conhecida e previsível

Aceleração híbrida: NVIDIA + Groq

A plataforma divide o trabalho entre GPUs e aceleradores especializados. O Vera Rubin NVL72 processa as camadas de attention (que gostam de muita largura de banda), enquanto o Groq 3 LPX assume as camadas FFN (que exigem baixa latência na geração sequencial). O cache KV é sincronizado entre os dois, um token por vez. Parece complicado, mas o resultado é um sistema que funciona sem abrir mão de velocidade nem de qualidade.

Os resultados

• 400 tokens por segundo em modelos MoE de 1 trilhão de parâmetros com contexto de 400K
• 35x mais throughput por watt que o GB200 NVL72
• Latência previsível mesmo com vários agentes trabalhando ao mesmo tempo

O que isso significa

Para quem desenvolve agentes de IA, isso significa que latência e escalabilidade deixam de ser inimigas. O Vera Rubin permite colocar na mesa modelos grandes (de um trilhão de parâmetros) e rodar neles agentes complexos sem sacrificar a velocidade de resposta. Na prática, assistentes pessoais, automatizadores e agentes de trabalho poderão operar rápido mesmo com contexto longo.