AdaPRA eleva o Qwen 80B em 24,5 pontos nos leaderboards de data science

Agentes de data science já conseguem percorrer sozinhos todo o ciclo de machine learning, mas ainda ficam bem atrás dos humanos nos leaderboards. Uma equipe formada por Atharva Naik, Vivek Chari, Pol Llado, Daniel Fried, Carolyn Rosé, Benjamin Van Durme, Sam Thomson e Justin Svegliato propôs o AdaPRA, sistema que atua justamente no processo de trabalho do agente. Com cinco tentativas por tarefa, ele elevou o percentil do modelo Qwen de 80B parâmetros em 24,5 pontos no benchmark DSPredict-Easy e em 14,8 pontos no DSPredict-Hard, além de reduzir o número de erros de processo. O preprint foi publicado no arXiv em 23 de outubro de 2026, e os autores disponibilizaram o código para reprodução.

Onde os agentes de data science perdem pontos

Os autores partem de uma observação: o problema não se resume ao modelo escrever código ruim. Os agentes erram de forma sistemática no próprio andamento do trabalho. Os pesquisadores identificam quatro tipos de falha:

• exploração insuficiente dos dados;
• validação incorreta, que torna injusta a avaliação de qualidade;
• bugs comuns no código;
• uso ineficiente do orçamento fixo: a cada nova tentativa, o agente refaz a mesma análise exploratória de dados e treina os mesmos modelos de base.

O último ponto é o mais revelador. Se o agente tem cinco tentativas por tarefa e gasta todas repetindo a mesma coisa, o orçamento real para encontrar uma solução forte encolhe várias vezes.

Estrutura persistente e agente auditor

O AdaPRA tem duas partes. A primeira é uma estrutura persistente para o agente de programação (persistent coding agent harness): ela acumula conhecimento entre as tentativas na mesma tarefa, de modo que os resultados da exploração e dos modelos de base não precisam ser recalculados do zero.

A segunda parte é o process reward agent, um agente de recompensa por processo. Os modelos clássicos de recompensa por processo avaliam etapas do raciocínio. Aqui, o auditor vai além: ele analisa a trajetória do agente e seu espaço de trabalho, executa verificações e confronta o trabalho com as rubricas. As rubricas são critérios de qualidade do processo e se adaptam a cada tarefa. Ao fim da auditoria, o agente recebe orientações sobre quais erros corrigir.

Um resultado à parte diz respeito às próprias rubricas. Critérios semeados em tarefas fáceis se transferem para tarefas mais difíceis, e a adaptação posterior das rubricas traz um ganho adicional.

Números e transferibilidade

• Modelo base: Qwen de 80B parâmetros.
• DSPredict-Easy: +24,5 pontos de percentil no leaderboard.
• DSPredict-Hard: +14,8 pontos de percentil.
• Condições: cinco tentativas por tarefa.
• Efeito colateral: menos erros de processo.
• Transferência entre modelos: rubricas extraídas de execuções de um modelo base melhoraram os resultados do DeepSeek-V3.2.
• Comparação com concorrente: o AdaPRA superou o DataPRM, um modelo de recompensa por processo robusto para data science.

O ganho no conjunto fácil é quase o dobro do obtido no difícil, e isso é um sinal honesto dos limites da abordagem. A supervisão corrige a disciplina de trabalho: verificação, repetições, validação. Mas não substitui a capacidade do modelo de pensar em uma solução não trivial para uma tarefa pesada.

O que levar para a prática

Para equipes que constroem agentes sobre modelos abertos, a principal conclusão é prática. É possível melhorar o resultado sem retreinar os pesos: basta adicionar uma camada de auditoria com verificações executáveis e memória entre as tentativas. As rubricas acumuladas nas execuções de um modelo funcionam com outro, o que permite tratá-las como um ativo reutilizável, e não como um ajuste descartável para uma combinação específica.

Quem roda agentes em tarefas do tipo Kaggle deve verificar se os próprios pipelines repetem exploração de dados e têm validação fraca: segundo os autores, são esses erros que consomem o orçamento de tentativas. O código aberto permite comparar o AdaPRA com a sua solução nos mesmos conjuntos DSPredict e ver quanto da distância para os humanos se fecha apenas com a supervisão do processo.