AdaPRA: um agente supervisor eleva o desempenho da IA em tarefas de ciência de dados em 24,5 pontos de percentil

Agentes, falhas silenciosas

Agentes encarregados de conduzir todo o ciclo de uma tarefa de ciência de dados — do carregamento dos dados ao envio das previsões no Kaggle — costumam perder pontos não por desconhecerem os algoritmos, mas por falhas de processo: param no primeiro modelo que funciona em vez de tentar algo mais forte, confundem os conjuntos de treino e validação, ou permitem vazamento de dados na validação cruzada. Piora: muitos desses erros não deixam nenhum vestígio no log de execução — o pipeline roda formalmente e gera um arquivo de respostas, e o fato de essas respostas não terem sentido só é percebido numa verificação manual. Os autores da Carnegie Mellon University citam um exemplo bem ilustrativo: um agente deveria reconhecer comandos de voz em 12 categorias, mas, por causa de um caminho de arquivo incorreto, as 158.

538 gravações de áudio de teste foram carregadas como silêncio — e o modelo classificou todas elas como "comando desconhecido", enquanto o log parecia indicar que tudo havia funcionado normalmente.

Como funciona o agente verificador

A solução se chama AdaPRA (Process Reward Agent com rubricas adaptativas). Não é um checklist estático nem um juiz LLM comum, que apenas lê um relatório em texto sobre o trabalho do agente. O AdaPRA é, ele mesmo, um agente com acesso ao terminal: abre a pasta de trabalho do agente principal, executa seu próprio código para recalcular as métricas (por exemplo, recalculando a qualidade da validação cruzada a partir de previsões reservadas) e só então emite um veredito para cada item da rubrica. Isso é necessário porque os relatórios que o próprio agente faz sobre seu trabalho não podem ser tomados ao pé da letra — o agente pode estar genuinamente errado sobre o que de fato fez.

A verificação não acontece continuamente, mas em intervalos fixos — a cada poucos passos do agente, além de uma checagem final antes da entrega do resultado. Para não sobrecarregar o agente com informação irrelevante, o relatório inclui apenas os itens da rubrica que realmente importam para a tarefa em questão e que, segundo a avaliação do verificador, provavelmente não foram cumpridos — com probabilidade de violação acima de 40% e importância de pelo menos metade do máximo.

De onde vêm as regras e por que elas se transferem entre tarefas

Os autores não escreveram as rubricas manualmente — isso seria inviável para centenas de tipos de tarefas. Em vez disso, rodaram o agente base várias vezes em 38 tarefas de nível "fácil" (o conjunto DSPredict-Easy, composto majoritariamente por competições tabulares da Kaggle Playground Series) e compararam as melhores tentativas com as piores com base na posição final no ranking. Um juiz LLM (Claude Sonnet 4.

6) extraiu, a partir de 906 observações — acertos e fracassos —, 342 padrões "bons" e 564 problemas, que depois foram agrupados em 17 regras concretas mais 2 regras gerais sobre o uso de tentativas anteriores — totalizando 19 rubricas básicas. Um detalhe importante: quase todos os problemas identificados só são visíveis no próprio código e nos logs de execução (344 de 564), enquanto as soluções bem-sucedidas aparecem nos artefatos da pasta de trabalho (235 de 342). Ou seja, olhar apenas o diálogo com o agente, ou apenas os arquivos, faz perder a maior parte do sinal.

Essas 19 rubricas foram transferidas sem nenhuma alteração para o DSPredict-Hard — um conjunto de 54 tarefas muito mais complexas (visão, texto, áudio, dados moleculares) — e funcionaram bem. Além disso, o AdaPRA é capaz de acrescentar regras sobre a marcha: na tarefa House Prices, por exemplo, o verificador adicionou por conta própria uma regra chamada "variância insuficiente nas previsões", que verifica se o modelo está concentrando todas as previsões de preço em torno da média em vez de apresentar uma dispersão realista.

Resultados e limitações

Com cinco tentativas por tarefa, o AdaPRA com o modelo base Qwen3-Coder-Next (80 bilhões de parâmetros) elevou o percentil médio no ranking do Kaggle em 24,5 pontos nas tarefas fáceis e em 14,8 pontos nas difíceis — resultados comparáveis ou superiores aos do GPT-5.1 em modo de raciocínio aprimorado. O sistema também superou o DataPRM, um modelo verificador concorrente com 4 bilhões de parâmetros que pontua os passos do agente numa escala de 0 a 1 sem usar rubricas flexíveis. Um experimento separado mostrou que rubricas construídas com um modelo também funcionam quando transferidas para outro — o DeepSeek-V3.2.

Para equipes de engenharia que constroem agentes autônomos de análise de dados, a conclusão prática é clara: verificar apenas o log de diálogo não captura, de longe, todos os erros — é preciso um supervisor com capacidade de executar código por conta própria e examinar os arquivos da pasta de trabalho. A segunda conclusão é que preservar o contexto entre tentativas — em vez de começar do zero a cada vez — já traz um ganho perceptível, mesmo antes de qualquer controle de qualidade externo.