ProD enseña a los agentes de IA pequeños a no entrar en bucles: prueba con 8 modelos de 0,6B a 8B

Ocho modelos de lenguaje pequeños, con tamaños de 0,6 a 8 mil millones de parámetros, han servido de banco de pruebas para un nuevo método de destilación de agentes. Se llama Progress-Aware Distillation, o ProD. Los autores del trabajo, publicado en Hugging Face Daily Papers, atacan un problema concreto: en tareas largas, los agentes alumno destilados se atascan en bucles y repiten estrategias que ya han fallado.

Por qué los agentes pequeños entran en bucles

Los sistemas agénticos basados en grandes LLM resuelven tareas complejas, pero lo pagan en tokens y latencia. Cada paso de razonamiento, cada llamada a una herramienta y cada respuesta del entorno alargan el contexto e inflan la factura. Para producción es una limitación seria, y por eso la industria traslada las habilidades agénticas a modelos pequeños. El camino estándar es la destilación mediante supervised fine-tuning: el profesor resuelve las tareas y el alumno se entrena con sus trayectorias.

El problema es que, cuanto más larga es la trayectoria, peor mantiene el alumno el rumbo. Las cadenas de «razonamiento — acción» se alargan, el volumen de retroalimentación del entorno crece y el modelo empieza a dar vueltas en círculo. Los autores lo llaman estancamiento del progreso: el agente aplica una y otra vez enfoques que no funcionan y no avanza hacia el objetivo. Según su análisis sistemático, el efecto se reproduce en distintos modelos pequeños y en distintos tipos de tareas. Es decir, no se debe a una arquitectura concreta que funcione mal.

Cómo funciona ProD

La idea del método es hacer que el estancamiento sea medible y penalizable durante el propio entrenamiento. ProD detecta de forma explícita el estancamiento en las trayectorias que genera el propio alumno y lo penaliza. La brecha entre alumno y profesor en este indicador se codifica en un margin adaptativo. Cuanto más se rezaga el alumno respecto al profesor en progreso, más severa es la penalización. Cuando la brecha se reduce, la presión se relaja.

El procedimiento se aplica de forma iterativa y el alumno se acerca paso a paso al comportamiento del profesor. La descripción no ofrece detalles de implementación, pero la estructura con margin y trayectorias del propio alumno recuerda a los métodos de entrenamiento por preferencias. Es una suposición mía a partir del resumen, no una afirmación de los autores. Lo más importante es otra cosa: el entrenamiento no se limita a las demostraciones «ideales» del profesor. El alumno ve también sus propios caminos fallidos, y el método le explica qué tienen exactamente de malo.

Qué mostraron los experimentos

Según el resumen, la evaluación fue amplia:

• 8 modelos de lenguaje pequeños;
• tamaños de 0,6B a 8B parámetros;
• benchmarks dentro del dominio de entrenamiento (in-domain) y fuera de él (out-of-domain);
• métricas: porcentaje de tareas completadas con éxito y eficiencia en su ejecución.

Los autores afirman que ProD reduce de forma notable el estancamiento y, al mismo tiempo, mejora tanto el success rate como la eficiencia en la ejecución de tareas. El resumen no incluye porcentajes concretos, así que aún es pronto para valorar la magnitud de la mejora. Habrá que revisar el texto completo: los nombres de los benchmarks, los métodos base de comparación y la dispersión de resultados entre modelos. Queda además una pregunta aparte: cuánto cuesta el ciclo iterativo, con generación de trayectorias por parte del alumno y etiquetado del estancamiento.

Qué deben hacer los equipos que construyen agentes

Los ingenieros que montan agentes baratos con modelos de la clase 1–8B deberían comprobar en qué punto exacto cae la calidad. Si el éxito baja a medida que crece la longitud del episodio y en los logs se ven acciones repetidas, es precisamente este estancamiento. Un paso de diagnóstico sencillo consiste en calcular la proporción de trayectorias con repeticiones de la misma acción o sin avance durante N pasos. Ese indicador es útil tanto si ProD le encaja como si no.

Si destila agentes por su cuenta, tiene sentido incluir en el ciclo de entrenamiento las trayectorias del alumno, y no solo las del profesor. Para ello habrá que pagar ejecuciones adicionales y el etiquetado del progreso. A cambio, hay una posibilidad de reducir el número de tokens por tarea sin perder fiabilidad. Por ahora es el resultado de un solo artículo, sin verificación independiente. Pero apunta a un cuello de botella real: un agente barato no se rompe en el primer paso, sino en el vigésimo.