OPMD apprend aux LLM étudiants non seulement les réponses, mais aussi les calculs internes de l'enseignant

Une équipe de chercheurs propose OPMD (On-Policy Mechanism Distillation), une méthode de distillation de modèles de langage qui transfère de l'enseignant à l'étudiant non seulement les prédictions, mais aussi les calculs intermédiaires. Selon les auteurs, OPMD obtient la meilleure précision moyenne parmi les baselines de distillation évaluées, dans les trois configurations « enseignant — étudiant ». La méthode s'étend aussi à la distillation depuis plusieurs enseignants et au supervised fine-tuning entre différentes familles de modèles. Le travail est publié dans Hugging Face Daily Papers. L'abstract ne contient ni valeurs absolues des métriques, ni noms de modèles, ni benchmarks : l'ampleur du gain reste donc impossible à évaluer pour l'instant.

Là où la distillation on-policy atteint ses limites

La distillation on-policy (OPD) fonctionne ainsi : l'étudiant génère lui-même des préfixes, et l'enseignant évalue ce qu'il aurait dit à chaque étape. L'étudiant apprend donc sur sa propre distribution d'états, et non sur des textes de référence issus d'ailleurs, ce qui réduit le décalage entre entraînement et inférence. L'approche a toutefois une limite : la supervision reste cantonnée à l'espace des sorties. L'étudiant apprend quels tokens l'enseignant prédit, mais ne voit pas comment celui-ci y est parvenu.

La solution qui vient d'abord à l'esprit consiste à forcer les états cachés de l'étudiant à ressembler à ceux de l'enseignant. Les auteurs jugent cette option insuffisante, pour deux raisons. Premièrement, les représentations de l'enseignant et de l'étudiant peuvent différer sur le plan géométrique, et une comparaison directe n'a alors guère de sens. Deuxièmement, même des états cachés bien alignés ne conviennent pas forcément aux couches suivantes de l'étudiant. Ils peuvent ressembler aux « bons » états tout en étant inutiles pour ses propres calculs.

Comment fonctionne OPMD

La méthode procède en deux étapes. Elle construit d'abord un « enseignant compatible avec l'étudiant » (student-compatible teacher). Celui-ci convertit les représentations du véritable enseignant en états intermédiaires que la partie aval du réseau de l'étudiant peut utiliser. Ces états sont ensuite internalisés sur des trajectoires on-policy : l'étudiant génère ses propres continuations et apprend à reproduire les états internes voulus. L'abstract ne précise pas comment le convertisseur est implémenté ; il faudra le vérifier dans le texte complet de l'article.

L'idée clé est que la compatibilité avec le destinataire fait partie de la formulation du problème. Les auteurs appellent le résultat un « mécanisme » : l'étudiant acquiert une structure de calcul interne qu'il est en mesure d'appliquer, et non une empreinte de la structure d'un autre.

Ce que les auteurs annoncent comme résultats

• Trois configurations enseignant-étudiant : OPMD mène en précision moyenne parmi les baselines de distillation évaluées, dans chacune d'elles.
• Distillation multi-enseignants : l'approche se généralise à plusieurs enseignants.
• SFT inter-familles : la méthode fonctionne pour un entraînement entre différentes familles de modèles.
• Analyse du raisonnement : la supervision du mécanisme produit des raisonnements plus efficaces.
• Changements internes : les calculs intermédiaires de l'étudiant et ses stratégies de résolution évoluent, ce qui signifie que la méthode transmet de l'information en plus de celle contenue dans les sorties.

Le dernier point est important sur le plan méthodologique. Le gain de précision pourrait à lui seul s'expliquer par un simple signal d'entraînement supplémentaire. Les auteurs affirment observer des changements structurels dans les calculs internes, ce qui pèse plus qu'une ligne dans un tableau.

Limites et questions ouvertes

On ne dispose pas encore de données sur le coût de la méthode. L'étape supplémentaire de construction de l'enseignant compatible et l'entraînement sur les états cachés augmentent presque certainement les coûts de calcul et la complexité du pipeline. Une autre question concerne l'accès : transférer des calculs intermédiaires exige les représentations internes de l'enseignant. C'est possible avec des modèles à poids ouverts, mais les modèles accessibles uniquement via API ne se prêtent pas à cette approche. Enfin, la première place est revendiquée parmi les « baselines évaluées », et ce sont les auteurs eux-mêmes qui définissent l'ensemble de ces baselines.

Que vérifier en pratique

Les équipes qui compressent des modèles de raisonnement issus d'enseignants open source vers de petits étudiants gagneraient à inscrire OPMD sur leur liste de candidats, dès que le code et les tableaux complets seront disponibles. Il faudra d'abord vérifier sur quelles paires de modèles et sur quelles tâches le gain a été obtenu : les mathématiques, le code et les benchmarks généralistes se comportent différemment. Il conviendra ensuite de comparer le coût d'entraînement avec celui d'une OPD classique, à budget égal en heures de GPU. Le scénario inter-familles est le plus intéressant. S'il est confirmé par des reproductions indépendantes, les développeurs disposeront d'un moyen de transférer des capacités entre architectures sans historique d'entraînement commun.