Investigadores probaron 16 tipos de pistas para OPSD y encontraron una métrica de selección

La on-policy self-distillation (OPSD) permite que un modelo de lenguaje aprenda a partir de información privilegiada sin un modelo maestro aparte. Un nuevo trabajo, incluido en Hugging Face Daily Papers, muestra que la propia pista (PI) determina el resultado tanto como el algoritmo. Los autores probaron 16 configuraciones de PI en tres benchmarks agénticos multiturno y con tres modelos estudiante de distinta escala y modo de razonamiento. La principal conclusión práctica: la calidad de la pista se puede estimar antes del entrenamiento mediante métricas KL, y este método funciona con más fiabilidad que la comprobación directa de su utilidad.

Por qué la PI resultó ser el punto débil de la OPSD

El esquema es conocido: el modelo ve la tarea junto con información adicional que el «estudiante» no tiene en inferencia, y su distribución de tokens sirve como señal de entrenamiento. El estudiante se entrena con sus propias muestras, de ahí el término on-policy. No hace falta un maestro adicional.

Hasta ahora, la mayoría de los trabajos trataba la PI como una decisión de diseño fija. Se ha estudiado poco qué incluir exactamente en ella y cómo construirla. En las tareas agénticas multiturno el problema es más agudo: la trayectoria se compone de acciones, observaciones y razonamientos, y convertirla en pista admite una decena de enfoques. Se puede conservar solo el resultado final, añadir los pasos intermedios o destacar los erróneos.

Qué mostraron las 16 configuraciones

La eficacia de la PI depende de tres factores a la vez: el contenido, la fuente de generación y el propio modelo estudiante. Los patrones generales son estos:

• las trayectorias con alta densidad de información, usadas como PI, aportan en promedio una mejora mayor;
• la PI creada por un generador más potente suele ser más útil;
• los modelos thinking se benefician de la PI de forma menos estable que los modelos sin modo de razonamiento explícito;
• no existe una receta universal de pista: la mejor configuración cambia según la tarea y según el estudiante.

Los autores no ofrecen mejoras numéricas en el resumen, así que la magnitud del efecto habrá que consultarla en el texto completo del artículo.

Cómo evaluar una pista antes de entrenar

Un entrenamiento completo para comprobar cada PI sale caro. Por eso los autores compararon la evaluación directa de la utilidad de la PI con dos métricas basadas en la divergencia KL:

• sampled-token reverse KL (D): KL inversa sobre los tokens muestreados;
• error-step KL contrast (Δd⁻_err): contraste de KL ligado a los pasos en los que el agente se equivoca.

Ambas métricas concuerdan con la calidad final tras el entrenamiento de forma más estable que la evaluación directa de la utilidad. Esta última tiene un punto débil: la fuga de información la distorsiona. Si la pista contiene de hecho la respuesta, el modelo con ella parece fuerte, pero al estudiante eso no le aporta nada.

También se probó un escenario práctico. Elegir la PI para cada tarea según Δd⁻_err mejora el resultado tras el entrenamiento en comparación con la selección aleatoria. La ganancia es mayor cuando los candidatos difieren mucho entre sí. Si todas las variantes de pista son aproximadamente equivalentes, la métrica casi no aporta nada.

OPSD más GRPO

Una comprobación aparte se centró en la compatibilidad con el aprendizaje por refuerzo (RL). Una PI eficaz sigue siendo útil al combinar OPSD con GRPO, y el objetivo combinado supera a un baseline GRPO sólido. Es decir, la self-distillation no compite con el aprendizaje por refuerzo, sino que lo complementa.

Qué llevarse al trabajo diario

Un equipo que entrena agentes mediante self-distillation debería dejar de tratar el formato de la PI como una constante. Un orden de acción razonable sería este:

• reunir varias variantes de PI a partir de las mismas trayectorias, de las comprimidas a las densas;
• generar las pistas con un modelo más potente, siempre que sea posible;
• clasificar a los candidatos por métricas KL, y no por lo bien que el modelo resuelve la tarea con la pista en el contexto, porque la fuga de información llevaría a conclusiones erróneas;
• con modelos thinking, no esperar la misma mejora que con los modelos convencionales y comprobarlo por separado;
• si ya existe un pipeline con GRPO, añadir OPSD con la PI seleccionada como segundo término del objetivo.

La limitación también está clara. El trabajo es empírico, las conclusiones proceden de tres benchmarks y tres estudiantes, y su extrapolación a otros dominios debe verificarse. Aun así, como guía de ingeniería de pistas para self-distillation, el resultado es útil: sustituye la intuición por una métrica barata que se puede calcular antes de lanzar un entrenamiento costoso.