Apple aclara cuándo la on-policy distillation ayuda de verdad a entrenar modelos

Investigadores de Apple ML Research han publicado un análisis de los límites de la on-policy distillation, una técnica de entrenamiento en la que un modelo profesor ofrece a los modelos de razonamiento una guía token a token. Su conclusión: el método puede ser una herramienta potente, pero solo si se aplica correctamente.

Qué es la on-policy distillation y para qué sirve

La on-policy distillation es una forma de entrenar un modelo nuevo dándole instrucciones muy detalladas en cada paso. Imagine a un profesor brillante que resuelve un problema en voz alta y explica cada paso, mientras el alumno aprende no solo de la respuesta final, sino también de cómo razonó el profesor por el camino.

Esto importa sobre todo en los modelos de razonamiento, que resuelven problemas complejos paso a paso, desplegando su lógica. OpenAI y otros laboratorios usan enfoques similares para entrenar modelos como o1 y Claude 3.5 Sonnet. A primera vista, cuanto más detallada sea la guía, mejor debería aprender el alumno.

Cuándo ayuda de verdad y cuándo puede perjudicar

Apple descubrió que la cosa es más compleja. Las preguntas clave siguen abiertas:

• Qué modelo elegir como profesor (el más fuerte no siempre es el mejor)
• Qué contexto usar en la autodestilación, cuando el modelo aprende de sí mismo
• La elección óptima puede variar de un token a otro

El enfoque actual suele ser este: lanzar un entrenamiento costoso, pasar varias horas (o días) calculando en GPU y mirar las métricas finales. El problema es que esas cifras agregadas ocultan la verdad: a nivel de tokens individuales, los métodos suelen comportarse de forma muy distinta.

Cómo propone Apple resolverlo

El equipo presentó un enfoque training-free: una manera de evaluar la eficacia de la on-policy distillation SIN experimentos costosos. Así, los ingenieros de ML pueden comprobar si el método funciona en su escenario concreto antes de lanzar un entrenamiento completo.

Estas herramientas son críticas para los grandes laboratorios: cada hora de GPU cuesta dinero, y poder predecir el resultado del entrenamiento de antemano ahorra recursos y plazos de desarrollo.

Qué significa para la comunidad de ML

La on-policy distillation sigue siendo una técnica potente, pero el estudio muestra que no puede aplicarse de forma mecánica. Tareas, modelos y datos distintos exigen decisiones distintas, y Apple ofrece una herramienta para tomarlas con fundamento, sin costosos ensayos y errores.