AdaPRA eleva 24,5 puntos a Qwen de 80B en leaderboards de tipo Kaggle

Los agentes de data science ya pueden recorrer solos todo el ciclo del aprendizaje automático, desde la carga de datos hasta el envío de predicciones. Sin embargo, en los leaderboards con participantes humanos siguen quedando claramente por detrás de las personas. Investigadores de Carnegie Mellon University (Atharva Naik, Vivek Chari, Pol Llado, Daniel Fried, Carolyn Rosé, Benjamin Van Durme, Sam Thomson y Justin Svegliato) proponen arreglar el proceso, no el modelo. Su sistema AdaPRA, con cinco intentos por tarea, subió al modelo Qwen de 80B 24,5 puntos percentiles en DSPredict-Easy y 14,8 puntos en DSPredict-Hard, y a la vez redujo el número de errores de proceso.

Dónde pierden puntos los agentes

Los autores parten de un diagnóstico. El mal resultado de los agentes no se explica solo por una falta de «inteligencia». Lo más habitual es que fallen en el desarrollo del propio trabajo, y los errores son bastante prosaicos:

• exploración de datos insuficiente: el agente se lanza a entrenar un modelo sin entender qué hay en la tabla;
• validación poco fiable: el esquema de comprobación da cifras estupendas que no se trasladan al test;
• bugs en el código que degradan el pipeline sin hacer ruido;
• mal aprovechamiento del presupuesto fijo: en cada intento, el agente repite el mismo EDA y entrena los mismos modelos base en lugar de avanzar.

El último punto es especialmente revelador. Si un agente dispone de cinco intentos para una tarea, lo lógico es que cada uno se apoye en los anteriores. En la práctica, empieza desde cero.

Un auditor con checklist y memoria entre intentos

AdaPRA consta de dos partes. La primera es una estructura de soporte permanente para el agente de programación (persistent harness), que acumula conocimiento entre los intentos sobre una misma tarea. Lo que ya se ha explorado, qué modelos base se han entrenado y cuáles han funcionado permanece en la memoria y no se recalcula.

La segunda parte es un process reward agent, es decir, un agente auditor. Los modelos de recompensa de proceso clásicos evalúan a posteriori los pasos del razonamiento a partir del texto. Aquí el auditor actúa de otra manera: examina la trayectoria y el directorio de trabajo del agente y ejecuta comprobaciones, en lugar de limitarse a leer los logs. Puede verificar si la validación está realmente bien planteada, si hay fuga de datos y si se ha hecho lo que el agente afirma haber hecho.

El auditor evalúa mediante rúbricas, es decir, checklists estructurados de criterios. La clave está en la palabra «adaptativas»: las rúbricas se reajustan para cada tarea concreta y no son una plantilla universal. Los autores señalan dos efectos. Las rúbricas sembradas con tareas fáciles se generalizan a las difíciles. Una adaptación adicional a la tarea mejora el resultado todavía más.

Cifras y transferibilidad

Principales resultados con cinco intentos por tarea:

• Qwen (80B): +24,5 puntos de percentil en DSPredict-Easy;
• Qwen (80B): +14,8 puntos en DSPredict-Hard;
• el número de errores de proceso baja en ambos conjuntos;
• las rúbricas extraídas de las ejecuciones de un modelo base mejoran a otro, DeepSeek-V3.2;
• AdaPRA supera a DataPRM, un PRM potente para data science propuesto con anterioridad.

La transferencia entre modelos es, probablemente, el detalle más interesante. Si las rúbricas elaboradas a partir de los errores de Qwen ayudan a DeepSeek-V3.2, es que recogen los fallos típicos de la propia tarea y del enfoque, y no las rarezas de un modelo concreto. El conocimiento sobre cómo hacer bien la validación y la exploración puede acumularse como un activo independiente, no ligado a los pesos.

La mejora en DSPredict-Hard es la mitad que en Easy, y es una referencia honesta: con checklists, el agente asciende hasta la mitad de la tabla con mucha más facilidad que hasta los primeros puestos en competiciones difíciles.

El código está publicado y el proyecto tiene una página, atharva-naik.github.io/AdaPRA, de modo que los resultados se pueden reproducir.

Para los equipos que construyen agentes de analítica y automatización de ML, el trabajo ofrece una receta clara. Antes de cambiar el modelo base, conviene revisar las trayectorias: si el agente repite el EDA en cada intento o se evalúa con una validación con fugas, ayudarán conservar el estado entre ejecuciones y contar con un auditor independiente que ejecute las comprobaciones. Las rúbricas pueden elaborarse con tareas fáciles y reutilizarse con distintos modelos; es decir, basta con invertir una vez en ese conjunto de criterios y aplicarlo al cambiar de proveedor.