Nvidia apresenta PivotRL, framework para agentes de IA que reduz em 4 vezes os passos de rollout

A Nvidia apresentou o PivotRL, um novo framework de pós-treinamento para LLMs agênticos. A proposta é eliminar um dos trade-offs mais incômodos da IA: de um lado, o ajuste fino barato, que perde desempenho fora do dataset; do outro, a qualidade alta, que custa rollouts muito caros. Segundo a empresa, o método atinge precisão comparável à do RL end-to-end em tarefas agênticas, mas exige 4 vezes menos rollout turns.

Onde está o gargalo

O pós-treinamento de modelos para cenários agênticos longos esbarra há tempos em um conflito entre eficiência e generalização. O Supervised Fine-Tuning sai relativamente barato: o modelo aprende com trajetórias prontas e não precisa percorrer o caminho inteiro online a cada vez. O problema é que esse regime costuma prender o modelo à distribuição dos exemplos de treino. Basta a tarefa se desviar um pouco, com outro site, outro formato de resposta ou outra forma de chamar uma ferramenta, para a qualidade cair de forma perceptível.

Com o reinforcement learning end-to-end acontece o contrário. Ele preserva melhor a capacidade de atuar fora do domínio de treino, porque o modelo aprende com as próprias ações on-policy e com as consequências delas. Mas o preço é alto: em tarefas longas, como programação, navegação na web ou trabalho no terminal, é preciso rodar rollouts de vários turnos repetidas vezes antes de cada atualização de parâmetros. No pós-treinamento de grandes modelos em produção, isso rapidamente se torna um processo muito caro, tanto em tempo quanto em orçamento de GPU.

Como o PivotRL funciona

A ideia do PivotRL é não treinar o modelo com a trajetória inteira, e sim identificar nela os turnos intermediários mais informativos. Os pesquisadores os chamam de pivots. Primeiro, todos os turnos do assistente nas fronteiras de chamada do modelo são extraídos do dataset de SFT. Em seguida, eles passam por um perfilamento offline com uma reference policy congelada.

Nem todo estado entra no treinamento: apenas aqueles em que os rollouts on-policy locais produzem resultados mistos, com parte das ações levando ao sucesso e parte ao fracasso. É exatamente ali que o sinal para o RL é mais forte, porque o modelo ainda não "resolveu" a tarefa e o gradiente não colapsa para zero.

O segundo elemento-chave são as functional rewards, que substituem a correspondência exata com a string da demonstração. Para ações agênticas, isso é crucial: o mesmo objetivo pode ser alcançado com diferentes comandos de shell, consultas de busca ou formulações de chamada de ferramenta. O PivotRL não exige coincidência literal; ele valida o resultado funcionalmente correto por meio de verifiers específicos de cada domínio, que vão da normalização de schema e similaridade de strings até uma verificação leve via LLM-as-a-judge. Com isso, o framework desloca as probabilidades a favor de ações válidas, mas interfere menos no comportamento do modelo em tarefas não relacionadas.

O que os testes mostraram

O modelo-base nos experimentos foi o Qwen3-30B-A3B-Thinking-2507. A Nvidia testou o PivotRL em quatro domínios agênticos: conversational tool use, SWE-Bench Verified, Terminal-Bench e BrowseComp.

A comparação foi feita tanto com o SFT convencional nos mesmos dados quanto com o RL end-to-end, nos casos em que o custo de rollouts longos pesa. A equipe avaliou não só a precisão absoluta, mas também uma questão prática: é possível obter um resultado parecido sem o ciclo completo e caro de treinamento a cada etapa?

• O ganho médio in-domain em relação ao modelo-base foi de 14,11 pontos, contra 9,94 do SFT nos mesmos dados.
• Em comparação com o SFT, o PivotRL entregou, em média, precisão 4,17% maior em tarefas agênticas.
• Em oito benchmarks out-of-domain, o SFT perdeu em média 9,83 pontos, enquanto o PivotRL registrou variação quase nula: +0,21.
• Em tarefas não agênticas fora do domínio, o método obteve OOD-accuracy 10,04% maior que a do SFT.
• No SWE-Bench Verified, o PivotRL chegou a um nível comparável ao do E2E RL com 4x menos rollout turns e cerca de 5,5 vezes mais rápido em wall-clock time.

A Nvidia também destaca que o método já é usado no Nemotron-3-Super-120B-A12B como esquema de trabalho para production-scale agentic post-training. É um sinal relevante: não se trata apenas de uma ideia acadêmica em um único gráfico, mas de uma técnica que a empresa considera prática o bastante para um modelo grande real. Se o resultado se reproduzir em outras stacks, o PivotRL pode virar uma alternativa intermediária para equipes que precisam de RL agêntico sem arcar com o custo total do treinamento end-to-end.

O que isso significa

A corrida dos agentes de IA aos poucos deixa de ser sobre "quem roda rollouts por mais tempo" e passa a girar em torno de onde gastar computação com o máximo de retorno. O interesse do PivotRL não está em substituir completamente o RL ou o SFT, e sim em propor uma economia de treinamento mais direcionada: menos turnos desperdiçados, menos degradação fora do domínio e mais chances de levar modelos agênticos à produção sem estourar o orçamento.