ProD evita que los agentes de IA caigan en bucles: probado en 8 modelos (0,6B–8B)

Los agentes basados en modelos de lenguaje pequeños se quedan atrapados en bucles: repiten estrategias erróneas y pierden el progreso en tareas complejas con cadenas de razonamiento largas. Esto resulta crítico al distilar las capacidades de modelos grandes en modelos pequeños mediante ajuste fino supervisado: el alumno aprende rápido, pero no logra salir de los mínimos locales y termina atrapado en bucles. El problema afecta por igual a todos los tamaños de modelo, desde 0,6B hasta 8B de parámetros.

Investigadores de Pennsylvania State University y Microsoft CoreAI, en un artículo presentado en NeurIPS 2026, proponen Progress-Aware Distillation (ProD), un método que penaliza explícitamente los bucles en la función de pérdida del alumno. La idea se basa en un principio sencillo: la brecha de progreso entre el modelo pequeño y el modelo grande es una señal de estancamiento, y puede usarse para penalizar de forma adaptativa.

Cómo funciona ProD

En cada paso de la interacción del agente con el entorno, el algoritmo compara el progreso del alumno con el del profesor: • Si el alumno avanza al mismo ritmo que el profesor, la penalización es mínima • Si el alumno se retrasa pero sigue avanzando, la penalización es media • Si el alumno se ha quedado completamente estancado (no avanza, cuando el profesor sí lo haría), la penalización es máxima

Esta brecha se codifica en un margen adaptativo que cambia dinámicamente. Luego llega la distilación iterativa: el alumno se entrena con la nueva función de pérdida, mejora un poco, y en la siguiente iteración el estancamiento se recalcula teniendo en cuenta sus mejoras.

Experimentos: 8 modelos, dos tipos de benchmarks

Las pruebas abarcaron: • Por tamaño: 0,6B parámetros, 1B–3B parámetros, 3B–8B parámetros • Por dominio: dentro de dominio (tareas de la distribución de entrenamiento) y fuera de dominio (dominios nuevos)

Las pruebas dentro de dominio muestran si el modelo aprendió bien el método. Las pruebas fuera de dominio comprueban si funcionará en condiciones reales con tareas desconocidas.

Resultados

ProD estabilizó el comportamiento de los agentes en los ocho modelos:

1. Menos bucles: cayó de forma significativa el porcentaje de trayectorias en las que el agente repite errores 2. Mayor éxito: aumentó la proporción de tareas resueltas correctamente (task success rate) 3. Eficiencia: los agentes necesitan menos pasos para resolver las tareas (menor consumo de tokens) 4. Generalización: el efecto se mantuvo en los benchmarks fuera de dominio, algo poco habitual en modelos distilados

Este último punto es especialmente relevante: por lo general, los modelos distilados no generalizan bien a dominios nuevos. En este caso, la calidad se mantuvo, lo que sugiere que ProD enseña una habilidad fundamental (no caer en bucles) en lugar de simple memorización.

Disponibilidad y autores

El artículo se ha publicado íntegramente. El código es abierto y está disponible en GitHub: https://github.com/CaoYuanpu/ProD

Autores: Yuanpu Cao, Saket Sathe, Hanyu Wang, Ziyi Yin, Fenglong Ma, Jinghui Chen (Pennsylvania State University y Microsoft CoreAI)

El equipo de autores invita al debate y está dispuesto a responder preguntas.