AdaPRA: Un agente supervisor eleva el rendimiento de la IA en tareas de ciencia de datos en 24,5 puntos de percentil

Agentes con fallos silenciosos

Los agentes encargados de gestionar todo el ciclo de una tarea de ciencia de datos —desde la carga de los datos hasta el envío de predicciones en Kaggle— pierden puntos de forma habitual, no por desconocer los algoritmos, sino por errores de proceso: se detienen en el primer modelo que funciona en lugar de probar algo mejor, confunden los conjuntos de entrenamiento y validación, o permiten fugas de datos en la validación cruzada. Peor aún, muchos de estos errores no dejan rastro en el registro de ejecución: el flujo de trabajo se completa formalmente y genera un archivo de respuestas, y el hecho de que esas respuestas no tengan sentido solo se descubre mediante una revisión manual. Los autores de la Universidad Carnegie Mellon citan un ejemplo revelador: un agente debía reconocer comandos de voz entre 12 categorías, pero debido a una ruta de archivo incorrecta, las 158.

538 grabaciones de audio de prueba se cargaron como silencio, y el modelo las clasificó todas como "comando desconocido", mientras el registro parecía indicar que todo había funcionado con normalidad.

Cómo funciona el agente verificador

La solución se llama AdaPRA (Process Reward Agent con rúbricas adaptativas). No es una lista de verificación estática ni un juez LLM convencional que simplemente lee un informe de texto sobre el trabajo del agente. AdaPRA es en sí mismo un agente con acceso a la terminal: abre la carpeta de trabajo del agente principal, ejecuta su propio código para recalcular las métricas (por ejemplo, volver a calcular la calidad de la validación cruzada a partir de predicciones reservadas) y solo después de eso emite un veredicto sobre cada punto de la rúbrica.

Esto es necesario porque los informes que el propio agente hace sobre su trabajo no pueden tomarse al pie de la letra: el agente puede equivocarse de buena fe sobre lo que realmente hizo.

La verificación no se realiza de forma continua, sino a intervalos fijos: cada pocos pasos del agente, además de una comprobación final antes de la entrega del resultado. Para no sobrecargar al agente con información innecesaria, el informe solo incluye los puntos de la rúbrica que realmente son relevantes para la tarea en curso y que, según la evaluación del verificador, probablemente no se hayan cumplido —con una probabilidad de incumplimiento superior al 40% y una importancia de al menos la mitad del máximo.

De dónde salen las reglas y por qué se transfieren entre tareas

Los autores no escribieron las rúbricas a mano —algo poco realista para cientos de tipos de tareas. En su lugar, ejecutaron varias veces el agente base en 38 tareas de nivel "fácil" (el conjunto DSPredict-Easy, en su mayoría competiciones tabulares de Kaggle Playground Series) y compararon los mejores intentos con los peores según la posición final en el ranking. Un juez LLM (Claude Sonnet 4.

6) extrajo de 906 observaciones —aciertos y fracasos— 342 patrones "buenos" y 564 problemas, y luego los agrupó en 17 reglas concretas más 2 reglas generales sobre el uso de intentos anteriores, es decir, 19 rúbricas base en total. Un detalle importante: casi todos los problemas detectados solo son visibles en el propio código y en los registros de ejecución (344 de 564), mientras que las soluciones acertadas se encuentran en los artefactos de la carpeta de trabajo (235 de 342). Es decir, si solo se analiza el diálogo con el agente o solo los archivos, se pierde la mayor parte de la señal.

Estas 19 rúbricas se trasladaron sin modificaciones a DSPredict-Hard, un conjunto de 54 tareas mucho más complejas (visión, texto, audio, datos moleculares), y funcionaron igual de bien. Además, AdaPRA es capaz de añadir reglas sobre la marcha: en la tarea House Prices, por ejemplo, el verificador agregó por sí mismo una regla llamada "varianza insuficiente en las predicciones", que comprueba si el modelo tiende a concentrar todas las predicciones de precio en torno al valor medio en lugar de ofrecer la dispersión real.

Resultados y limitaciones

Con cinco intentos por tarea, AdaPRA con el modelo base Qwen3-Coder-Next (80.000 millones de parámetros) elevó el percentil promedio en el ranking de Kaggle en 24,5 puntos en las tareas fáciles y en 14,8 puntos en las difíciles, resultados comparables o superiores a los de GPT-5.1 en modo de razonamiento reforzado. El sistema también superó a DataPRM, un modelo verificador competidor de 4.000 millones de parámetros que puntúa los pasos del agente en una escala de 0 a 1 sin usar rúbricas flexibles. Un experimento independiente mostró que las rúbricas elaboradas con un modelo también funcionan al trasladarlas a otro modelo, DeepSeek-V3.2.

Para los equipos de ingeniería que construyen agentes autónomos de análisis de datos, la conclusión práctica es clara: revisar solo el registro de diálogo no detecta ni mucho menos todos los errores; se necesita un supervisor con capacidad para ejecutar código por sí mismo y examinar los archivos de la carpeta de trabajo. La segunda conclusión es que conservar el contexto entre intentos —en lugar de empezar cada vez desde cero— ya aporta una mejora notable, incluso antes de añadir ningún control de calidad externo.