AdaPRA leva o Qwen de 80B a ganho de 24,5 pontos em leaderboards no estilo Kaggle

Agentes de data science já conseguem percorrer sozinhos todo o ciclo de machine learning, do carregamento dos dados ao envio das previsões. Mesmo assim, nos leaderboards com participantes humanos, eles ainda ficam claramente atrás das pessoas. Pesquisadores da Carnegie Mellon University (Atharva Naik, Vivek Chari, Pol Llado, Daniel Fried, Carolyn Rosé, Benjamin Van Durme, Sam Thomson e Justin Svegliato) propõem corrigir não o modelo, mas o processo. O sistema deles, o AdaPRA, com cinco tentativas por tarefa, elevou o Qwen de 80B em 24,5 pontos de percentil no DSPredict-Easy e em 14,8 pontos no DSPredict-Hard, ao mesmo tempo que reduziu o número de erros de processo.

Onde os agentes perdem pontos

Os autores começam por um diagnóstico. O desempenho fraco dos agentes não se explica apenas pela falta de "inteligência". Na maioria das vezes, eles erram no próprio andamento do trabalho, e os erros são bem prosaicos:

• exploração insuficiente dos dados: o agente parte para o modelo sem entender o que há na tabela;
• validação pouco confiável: o esquema de verificação produz números bonitos que não se sustentam no teste;
• bugs no código que degradam o pipeline sem alarde;
• mau uso do orçamento fixo: a cada tentativa, o agente refaz a mesma EDA e treina os mesmos modelos de base, em vez de avançar.

O último ponto é especialmente revelador. Se o agente tem cinco tentativas para uma tarefa, o lógico seria que cada uma se apoiasse nas anteriores. Na prática, ele começa do zero.

Um auditor com checklist e memória entre tentativas

O AdaPRA tem duas partes. A primeira é uma estrutura permanente de suporte ao agente de programação (persistent harness), que acumula conhecimento entre as tentativas na mesma tarefa. O que já foi explorado, quais modelos de base foram treinados e o que funcionou fica na memória e não é recalculado.

A segunda parte é o process reward agent, ou seja, um agente auditor. Os modelos de reward de processo clássicos avaliam os passos do raciocínio a posteriori, a partir do texto. Aqui o auditor age de outra forma: ele examina a trajetória e o diretório de trabalho do agente, executando verificações em vez de apenas ler logs. Ele pode checar se a validação foi montada corretamente, se há vazamento de dados e se o agente realmente fez o que declarou.

O auditor avalia com base em rubricas, isto é, checklists estruturados de critérios. A palavra-chave aqui é "adaptativas": as rubricas são reajustadas para cada tarefa específica e não permanecem como um modelo universal. Os autores destacam dois efeitos. Rubricas geradas a partir de tarefas fáceis se generalizam para as difíceis. A adaptação adicional à tarefa melhora o resultado ainda mais.

Números e transferibilidade

Principais resultados com cinco tentativas por tarefa:

• Qwen (80B): +24,5 pontos de percentil no DSPredict-Easy;
• Qwen (80B): +14,8 pontos no DSPredict-Hard;
• o número de erros de processo cai nos dois conjuntos;
• rubricas extraídas das execuções de um modelo de base melhoram outro, o DeepSeek-V3.2;
• o AdaPRA supera o DataPRM, um PRM robusto para data science proposto anteriormente.

A transferência entre modelos é, talvez, o detalhe mais interessante. Se rubricas montadas a partir dos erros do Qwen ajudam o DeepSeek-V3.2, é sinal de que elas capturam as falhas típicas da própria tarefa e da abordagem, e não manias de um modelo específico. O conhecimento sobre como fazer validação e exploração corretamente pode ser acumulado como um ativo separado, desvinculado dos pesos.

O ganho no DSPredict-Hard é metade do obtido no Easy, e isso serve como referência honesta: com checklists, o agente chega ao meio da tabela com bem mais facilidade do que ao topo em competições difíceis.

O código foi publicado, e o projeto tem uma página, atharva-naik.github.io/AdaPRA, de modo que os resultados podem ser reproduzidos.

Para equipes que constroem agentes de análise e automação de ML, o trabalho oferece uma receita clara. Antes de trocar o modelo de base, vale olhar as trajetórias: se o agente repete a EDA a cada tentativa ou se avalia com uma validação que vaza dados, ajudam a preservação de estado entre execuções e um auditor separado que executa as verificações. As rubricas podem ser montadas em tarefas fáceis e reaproveitadas em diferentes modelos, ou seja, basta investir uma vez em um conjunto de critérios e aplicá-lo ao trocar de provedor.