Apple identificó cuándo la on-policy distillation ayuda al entrenamiento de modelos

Investigadores de Apple ML Research han publicado un análisis sobre los límites de la on-policy distillation — una técnica de entrenamiento en la que un modelo maestro proporciona orientación por token (per-token) a modelos de reasoning. La conclusión: el método puede ser una herramienta poderosa, pero solo si se aplica correctamente.

Qué es on-policy distillation y por qué es necesario

On-policy distillation es una forma de entrenar un nuevo modelo dándole orientación muy detallada en cada paso. Imagina: un maestro inteligente resuelve un problema en voz alta, explicando cada paso, y un estudiante aprende no solo de la respuesta final, sino también de cómo el maestro razonó en el camino.

Esto es especialmente importante para modelos de reasoning — modelos que resuelven problemas complejos paso a paso, desplegando la lógica. OpenAI y otros laboratorios utilizan enfoques similares al entrenar modelos como o1 y Claude 3.5 Sonnet. A primera vista, cuanto más detallada sea la orientación, mejor debería aprender el estudiante.

Cuándo realmente ayuda y cuándo puede perjudicar

Apple descubrió que es más complejo. Las preguntas clave siguen abiertas:

• Qué modelo elegir como maestro (más fuerte no siempre es mejor)
• Qué contexto usar durante self-distillation, cuando un modelo aprende de sí mismo
• La elección óptima puede diferir de token a token

El enfoque actual para estas preguntas suele ser así: ejecutar entrenamiento costoso, calcular durante varias horas (o días) en GPU y observar las métricas finales. Pero el problema es que estos indicadores agregados ocultan la verdad: a nivel de tokens individuales, los métodos a menudo funcionan de manera completamente diferente.

Cómo Apple propone resolver esto

El grupo de investigación presentó un enfoque training-free — una forma de entender la efectividad de la on-policy distillation SIN experimentos costosos. Esto permite que los ingenieros de ML entiendan si el método funciona en su escenario específico antes de ejecutar el entrenamiento completo del modelo.

Tales herramientas son críticas para laboratorios grandes: cada hora de tiempo de GPU cuesta dinero, y la capacidad de predecir los resultados del entrenamiento con anticipación ahorra recursos y tiempo de desarrollo.

Qué significa esto para la comunidad de ML

On-policy distillation sigue siendo una técnica poderosa, pero esta investigación demuestra que no puede aplicarse mecánicamente. Diferentes tareas, diferentes modelos, diferentes datos requieren diferentes soluciones — y Apple proporcionó una herramienta para tomar estas decisiones de manera fundamentada, sin costoso trial-and-error.