STI-OPD: el profesor sustituye de forma probabilística las acciones del agente y supera a los baselines de OPD

Los autores del preprint arXiv:2610.10878 proponen STI-OPD, una variante de destilación on-policy para agentes que trabajan en varios turnos. La idea es que el profesor sustituya con cierta probabilidad la acción del estudiante por la suya, y que esa probabilidad se calcule a partir de la divergencia entre las políticas. Según los autores, el método supera al baseline OPD previo más fuerte en cada benchmark evaluado y para cada tamaño de estudiante. El resumen no incluye mejoras porcentuales concretas; hay que buscarlas en el texto completo del trabajo.

Dónde falla la on-policy distillation

OPD es un esquema sencillo. El estudiante genera sus propias trayectorias y el profesor ofrece, en cada token, una señal densa: cuánto difiere su distribución de la del estudiante. Este enfoque ya ha funcionado en tareas complejas como el razonamiento matemático, donde toda la generación cabe en una única respuesta larga.

En los escenarios agénticos la situación es peor. El estudiante elige una acción, el entorno responde con una observación y esa observación determina el siguiente paso. Un error temprano arrastra a los siguientes. Tras varios turnos, la trayectoria acaba en una zona en la que el profesor nunca habría estado. Su anotación a nivel de token en esos estados resulta menos fiable y, a veces, perjudicial: se enseña al estudiante a corregir una situación que simplemente no existe en una resolución normal de la tarea.

Cómo funciona STI-OPD

Durante la interacción de varios pasos, el método mide la divergencia entre las políticas del profesor y del estudiante mediante KL divergence y la convierte en una probabilidad de intervención. Después, en cada paso se decide al azar si se mantiene la acción del estudiante o se reemplaza por una generada por el profesor. Cuanto más se aleja la trayectoria del profesor, mayor es la probabilidad de que este tome el control y la devuelva a la zona de señal fiable.

Los autores contraponen este enfoque a los esquemas anteriores, con un umbral rígido de divergencia o un calendario fijo de intervenciones. Según ellos, la variante probabilística equilibra mejor el control del profesor y la exploración del estudiante: este no pierde sus pasos autónomos, pero tampoco se desvía demasiado.

Las trayectorias mixtas tienen un coste técnico. Una parte de los tokens la escribe el profesor y no corresponde a la distribución del estudiante, de modo que el objetivo habitual de OPD queda sesgado. Para corregirlo se introduce Importance-Weighted Reverse KL, que tiene en cuenta la diferencia entre el muestreo de tokens por parte del profesor y la política del estudiante, y conserva el objetivo original de OPD.

Elementos principales del método:

• la intervención está regida por la divergencia KL entre las políticas del profesor y del estudiante;
• la divergencia se transforma en una probabilidad y la decisión se toma por muestreo;
• la sustitución de la acción ocurre a nivel de paso dentro de la interacción de varios turnos;
• el entrenamiento con trayectorias mixtas se realiza mediante Importance-Weighted Reverse KL;
• la evaluación abarca tool-integrated reasoning e interacciones largas (long-horizon).

Qué muestran los experimentos

Según el resumen, STI-OPD supera al baseline OPD previo más fuerte en cada benchmark y con cada tamaño de modelo estudiante. Las ablaciones muestran por separado que ambos componentes aportan: la intervención guiada por la divergencia y el importance weighting. Sin cualquiera de los dos, la mejora se reduce.

También hay limitaciones visibles. El método requiere un profesor disponible durante el propio entrenamiento y capaz de generar acciones bajo demanda, lo que supone el coste de inferencia de un modelo potente en cada paso. Los resultados solo están descritos en el preprint, no hay reproducciones independientes y el anuncio no incluye la tabla completa de métricas.

A quién le sirve

Los equipos que destilan modelos grandes en agentes compactos para trabajar con herramientas, código o diálogos largos obtienen una receta concreta contra la deriva de trayectorias. Se puede probar en el pipeline propio: basta con registrar la KL entre las políticas en cada paso y comparar la intervención por umbral con la probabilística. Si el profesor resulta caro en inferencia, conviene estimar de antemano qué proporción de los pasos acabará usando sus acciones. Merece la pena añadir desde el principio el peso de importancia corrector; de lo contrario, al sustituir tokens es fácil perder la correspondencia con el objetivo original de OPD.