AdaPRA mejora en 24,5 puntos a Qwen 80B en los rankings de data science

Los agentes de data science pueden recorrer por sí solos todo el ciclo del aprendizaje automático, pero en los rankings con participantes humanos siguen muy por detrás de las personas. Un equipo de investigadores formado por Atharva Naik, Vivek Chari, Pol Llado, Daniel Fried, Carolyn Rosé, Benjamin Van Durme, Sam Thomson y Justin Svegliato propone AdaPRA, un sistema que corrige precisamente el proceso de trabajo del agente. Con cinco intentos por tarea, elevó el percentil del modelo Qwen de 80B parámetros en 24,5 puntos en el benchmark DSPredict-Easy y en 14,8 puntos en DSPredict-Hard, y a la vez redujo el número de errores de proceso.

El preprint apareció en arXiv el 23 de octubre de 2026 y los autores han publicado el código para que pueda reproducirse.

Dónde pierden puntos los agentes de data science

Los autores parten de una observación: el problema no es solo que el modelo escriba mal el código. Los agentes cometen errores sistemáticos en el propio desarrollo del trabajo. Los investigadores identifican cuatro tipos de fallos:

• exploración insuficiente de los datos;
• validación incorrecta, que hace que la estimación de calidad no sea fiable;
• bugs de código corrientes;
• uso ineficiente del presupuesto fijo: en cada nuevo intento, el agente vuelve a ejecutar el mismo análisis exploratorio de datos y los mismos modelos base.

El último punto resulta especialmente revelador. Si un agente tiene cinco intentos por tarea y gasta cada uno en repetir lo mismo, el presupuesto real para buscar una solución sólida se reduce varias veces.

Un arnés persistente y un agente auditor

AdaPRA consta de dos partes. La primera es un arnés persistente para el agente de programación (persistent coding agent harness): acumula conocimiento entre los intentos sobre una misma tarea, de modo que los resultados de la exploración y de los modelos base no hay que recalcularlos desde cero.

La segunda parte es el process reward agent, un agente de recompensa por proceso. Los modelos clásicos de recompensa por proceso evalúan los pasos del razonamiento. Aquí el auditor va más allá: analiza la trayectoria del agente y su espacio de trabajo, ejecuta comprobaciones y contrasta el trabajo con las rúbricas. Las rúbricas son criterios de calidad del proceso y se adaptan a cada tarea concreta. Tras la auditoría, el agente recibe indicaciones sobre qué errores corregir.

Un resultado aparte se refiere a las propias rúbricas. Los criterios sembrados con tareas fáciles se trasladan a otras más difíciles, y la adaptación posterior de las rúbricas aporta una mejora adicional.

Las cifras y la transferibilidad

• Modelo base: Qwen de 80B parámetros.
• DSPredict-Easy: +24,5 puntos de percentil en el ranking.
• DSPredict-Hard: +14,8 puntos de percentil.
• Condiciones: cinco intentos por tarea.
• Efecto secundario: menos errores de proceso.
• Transferencia entre modelos: las rúbricas obtenidas de las ejecuciones de un modelo base mejoraron los resultados de DeepSeek-V3.2.
• Comparación con la competencia: AdaPRA superó a DataPRM, un modelo sólido de recompensa por proceso para data science.

La mejora en el conjunto fácil es casi el doble que en el difícil, y es una señal honesta de los límites del enfoque. La supervisión corrige la disciplina de trabajo: la comprobación, las repeticiones, la validación. Pero no sustituye la capacidad del modelo para idear una solución no trivial ante una tarea difícil.

Qué llevarse a la práctica

Para los equipos que construyen agentes sobre modelos abiertos, la conclusión principal es práctica. Se puede mejorar el resultado sin reentrenar los pesos: basta con añadir una capa de auditoría con comprobaciones ejecutables y memoria entre intentos. Las rúbricas acumuladas con las ejecuciones de un modelo funcionan con otro, así que pueden tratarse como un activo reutilizable y no como un ajuste de un solo uso para una combinación concreta.

Quienes ponen a trabajar agentes en tareas de tipo Kaggle deberían revisar sus propios pipelines en busca de exploración de datos repetitiva y validación débil: según los autores, son precisamente esos errores los que consumen el presupuesto de intentos. El código abierto permite comparar AdaPRA con la solución propia en los mismos conjuntos DSPredict y comprobar qué parte de la brecha con los humanos se cierra solo con supervisar el proceso.