NVIDIA prevê o melhor agente de código antes do fine-tuning: ranking coincidiu em 96%

Imagine que você precisa escolher o modelo sobre o qual vai construir um agente de IA para programação. Há vários candidatos, e fazer o fine-tuning de cada um custa centenas de milhares de dólares, então a escolha tem de ser feita antes. Os testes habituais ajudam pouco nesse ponto: parte das tarefas do HumanEval e do SWE-bench vazou para os dados de treinamento, e no SWE-Bench Pro uma parcela considerável das tarefas foi elaborada com erros.

Pesquisadores da NVIDIA propuseram outro caminho: em vez de obrigar o modelo base a resolver a tarefa, mostrar a ele o registro de trabalho de um agente forte e verificar se ele reconhece a edição de código decisiva. O ranking de dez modelos obtido por essa verificação coincidiu em 96% com o ranking após o fine-tuning: a correlação de Spearman é 0,964, em que 1 indica ordem idêntica e −1, ordem invertida. No HumanEval, esse indicador é −0,394, ou seja, a ordem é antes inversa.

O sentido prático é simples: os candidatos fracos podem ser descartados antes de você gastar dinheiro com o fine-tuning.

Por que os testes antigos não funcionam

O HumanEval surgiu em 2021, junto com o Codex: 164 tarefas curtas em Python, com dificuldade de pergunta de entrevista para desenvolvedor júnior. Com o tempo, ficou claro que as tarefas estão em acesso aberto e acabam nos conjuntos de treinamento. Pesquisadores de Berkeley encontraram de 8 a 18% das tarefas do HumanEval no RedPajama e no StarCoder-Data, e a equipe do Allen AI achou um dataset aberto que coincidia com ele em 70,7%.

Em seguida, o setor migrou para o SWE-bench Verified. Em 23 de fevereiro de 2026, a OpenAI deixou de publicar seus resultados: das 138 tarefas que o modelo o3 da empresa não resolvia de forma consistente, 59,4% tinham erros nos testes ou no enunciado. Além disso, GPT-5.

2, Claude Opus 4.5 e Gemini 3 Flash reproduziam a correção de referência a partir do número da tarefa, como se já tivessem visto as respostas. O SWE-Bench Pro, recomendado como substituto, foi auditado pela OpenAI em menos de cinco meses, e a empresa considerou quebradas cerca de 30% das tarefas.

Em uma delas, o enunciado mostra um recuo de um espaço, enquanto os testes ocultos esperam dois; assim, quem cumpre o enunciado à risca falha na tarefa.

O que a NVIDIA propôs

Dá para simplesmente colocar o modelo base diante de uma tarefa real? A equipe tentou: seis modelos base foram executados como agentes no SWE-bench Verified. Cinco não resolveram nenhuma tarefa, embora, após o fine-tuning, esses mesmos modelos resolvam de 39 a 81%. O modelo base só sabe continuar texto. Em vez de chamar uma ferramenta, ele muitas vezes completa o diálogo por conta própria, chegando a inventar o resultado do comando.

Por isso, no trabalho Before They Can Solve (22 autores, 7 de outubro de 2026), não se pede ao modelo que resolva a tarefa. Mostra-se a ele o registro de trabalho de um agente forte (GPT-5.6-Sol, Claude Opus 5, Kimi-K3) e verifica-se apenas o momento decisivo. O registro é reproduzido passo a passo: após cada edição, rodam-se os testes do projeto e identifica-se a primeira edição depois da qual eles passam. A partir daí, há três formas de verificação:

• Quão «natural» o modelo considera a jogada correta. Mede-se o BPB, ou seja, quantos bits de informação são necessários para codificar um byte da resposta correta. Quanto menor, melhor.
• Escolha entre quatro opções para o próximo passo: uma correta e três plausíveis, mas reprovadas nos testes. As opções trocam de posição para eliminar a preferência do modelo pela letra A.
• Conclusão do trabalho de outro agente: o modelo recebe o registro até o passo decisivo e age por conta própria por até três passos, com várias tentativas.

Em todos os casos, a resposta correta é definida pelos testes do próprio projeto, e não por uma pessoa nem por outra rede neural.

O que deu certo e onde está o problema

Foram avaliados dez modelos base: três Nemotron-3, Qwen-3.5-35B-A3B, DeepSeek-V4 Flash e Pro, Kimi-K2, GLM-4.5-Air, Hy3 e Gemma-4-26B. O ranking obtido pelas verificações foi comparado com o ranking das versões após o fine-tuning no SWE-bench Verified. O BPB no passo decisivo deu 0,964 (considerando todos os passos do registro, apenas 0,915). Com registros do próprio SWE-bench Verified, a conclusão do trabalho de outro agente chegou a 0,988. No HumanEval, a correlação é −0,394: os modelos com melhor resultado acabavam, em média, mais fracos como agentes.

Uma das causas é a faixa estreita de resultados. No MBPP, os dez modelos ficaram entre 67 e 86%, enquanto os agentes finais se espalharam de 38,8 a 80,6%. Um teste assim distingue mal um candidato forte de um fraco. Para dar a escala dos custos: a DeepSeek gastou cerca de 147 000 horas de GPU H800 no fine-tuning do R1, aproximadamente 294 mil dólares pela própria estimativa da empresa, e isso é só a execução bem-sucedida, sem experimentos.

A auditoria da NVIDIA também atingiu o APTBench, da Tencent: de 1682 perguntas, 727 (43,2%) estavam incorretas, e na seção sobre tratamento de erros o índice chegou a 90,5%. As alternativas incorretas foram geradas por modelos de linguagem. Ressalva: a auditoria também foi feita com a ajuda de um agente de IA, seguindo critérios definidos, e o resultado geral do APTBench ainda assim tem correlação de 0,88–0,90 com o ranking.

O próprio método tem limitações. No experimento controlado, apenas três modelos passaram por fine-tuning, e a ordem coincidiu com a oficial, mas os próprios autores descrevem isso como continuação de uma tendência, e não como prova. Com registros de outros benchmarks, a coincidência foi mais fraca. O método ainda é de pesquisa, e não há ferramenta pronta.

A conclusão prática para equipes que escolhem a base de um agente: não se apoie no HumanEval e no MBPP; adote verificações vinculadas a edições reais em repositórios e defina a resposta correta pelos testes do projeto. A lógica é a mesma da contratação: uma entrevista estruturada sobre o trabalho real prevê o resultado melhor do que um teste geral de conhecimentos.