OPMD enseña a los LLM estudiantes los cálculos internos del profesor, además de sus respuestas

Un equipo de investigadores propone OPMD (On-Policy Mechanism Distillation), un método de destilación de modelos de lenguaje que transfiere del profesor al estudiante tanto las predicciones como los cálculos intermedios. Según los autores, OPMD logró la mayor precisión media entre los baselines de destilación evaluados en las tres configuraciones «profesor — estudiante». También se extiende a la destilación desde varios profesores y al supervised fine-tuning entre distintas familias de modelos. El trabajo se publicó en Hugging Face Daily Papers. El resumen no incluye valores absolutos de las métricas, ni nombres de modelos ni de benchmarks, así que por ahora no se puede valorar la magnitud de la mejora.

Dónde se atasca la destilación on-policy

La on-policy distillation (OPD) funciona así: el estudiante genera por sí mismo los prefijos y el profesor evalúa qué habría dicho en cada paso. De este modo, el estudiante aprende de su propia distribución de estados y no de textos de referencia ajenos, lo que reduce el desajuste entre entrenamiento e inferencia. El enfoque tiene una limitación: la supervisión se queda en el espacio de salida. El estudiante averigua qué tokens predice el profesor, pero no ve cómo llegó a ellos.

La jugada obvia sería hacer que los estados ocultos del estudiante se parezcan a los del profesor. Los autores consideran que eso no basta, por dos razones. Primera: las representaciones del profesor y del estudiante pueden diferir geométricamente, y una comparación directa significa poco. Segunda: incluso unos estados ocultos bien alineados no tienen por qué encajar con las capas posteriores del estudiante. Pueden parecerse a los «correctos» y, aun así, resultar inútiles para sus propios cálculos.

Cómo funciona OPMD

El método se aplica en dos pasos. Primero se construye un «profesor compatible con el estudiante» (student-compatible teacher). Este transforma las representaciones del profesor real en estados intermedios que la parte descendente de la red del estudiante puede utilizar. Después, esos estados se internalizan sobre trayectorias on-policy: el estudiante genera sus propias continuaciones y aprende a reproducir los estados internos necesarios. El resumen no aclara cómo se implementa exactamente el transformador; habrá que comprobarlo en el texto completo del artículo.

La idea clave es que la compatibilidad con el receptor pasa a formar parte del planteamiento del problema. Los autores llaman «mecanismo» al resultado: el estudiante recibe una estructura de cálculo interna que es capaz de aplicar, y no una copia de la estructura ajena.

Qué se afirma sobre los resultados

• Tres configuraciones profesor–estudiante: OPMD lidera la precisión media entre los baselines de destilación evaluados en cada una.
• Destilación con varios profesores: el enfoque se generaliza a múltiples profesores.
• SFT entre familias: el método funciona al entrenar entre distintas familias de modelos.
• Análisis del razonamiento: la supervisión del mecanismo produce un razonamiento más eficiente.
• Cambios internos: se modifican los cálculos intermedios del estudiante y sus estrategias de resolución, es decir, se transmite información adicional a la que contienen las salidas.

El último punto es importante desde el punto de vista metodológico. El aumento de precisión, por sí solo, podría explicarse simplemente por una señal de entrenamiento adicional. Los autores afirman que observan cambios estructurales en los cálculos internos, y eso pesa más que una línea en una tabla.

Limitaciones y preguntas abiertas

Todavía no hay datos sobre el coste del método. La etapa adicional de construcción del profesor compatible y el entrenamiento sobre estados ocultos casi con seguridad aumentan el gasto computacional y la complejidad del pipeline. Otra cuestión es el acceso: para transferir cálculos intermedios hacen falta las representaciones internas del profesor. Eso es posible con pesos abiertos, pero los modelos accesibles solo mediante API no encajan en este enfoque. Por último, el liderazgo se declara entre los «baselines evaluados», y el conjunto de esos baselines lo definen los propios autores.

Qué conviene comprobar en la práctica

Los equipos que comprimen modelos de razonamiento desde profesores abiertos hacia estudiantes compactos deberían añadir OPMD a su lista de candidatos en cuanto haya código y tablas completas. Lo primero es verificar en qué pares de modelos y tareas se obtiene la mejora: las matemáticas, el código y los benchmarks generales se comportan de forma distinta. Después conviene comparar el coste de entrenamiento con el de un OPD convencional, con el mismo presupuesto de horas de GPU. El escenario entre familias es el más interesante. Si lo confirman reproducciones independientes, los desarrolladores tendrán una forma de transferir capacidades entre arquitecturas sin un historial de entrenamiento común.