RGR protège les LLM de la perte de compétences en auto-distillation grâce à la géométrie des représentations

Un modèle qui s'entraîne tout seul améliore son score moyen sur les benchmarks, mais oublie en silence des tâches qu'il savait résoudre auparavant. C'est l'effet qu'ont observé les auteurs du préprint arXiv:2610.12855 pour la famille de méthodes d'auto-distillation on-policy (OPSD). Ils proposent aussi un remède : une régularisation de la géométrie des représentations, baptisée RGR.

Comment fonctionne l'OPSD et où il se brise

Dans l'OPSD, un même modèle de langage joue deux rôles : celui du professeur et celui de l'élève. Seuls diffèrent les contextes dans lesquels il est placé. Aucun modèle externe puissant n'est nécessaire pour la distillation : le modèle tire le signal d'apprentissage de lui-même. Pour le post-entraînement, c'est pratique : l'approche coûte moins cher, passe plus facilement à l'échelle et ne dépend pas des poids d'un tiers.

Le prix à payer est apparu lorsque les auteurs ont analysé l'entraînement requête par requête, et non à partir du résultat moyen. Des requêtes auxquelles le modèle répondait correctement aux premières étapes se mettaient, au fil de l'optimisation, à être résolues de façon erronée. La métrique globale, elle, continuait de monter : les nouveaux succès compensaient les pertes, et la courbe paraissait saine. Si l'on ne suit que la moyenne finale, le problème passe facilement inaperçu.

La géométrie des représentations cachées comme indicateur

Les auteurs relient la dégradation à une modification de la structure des représentations cachées. D'après leurs observations, à l'intérieur des clusters, les représentations deviennent moins compactes, et les clusters se séparent moins bien les uns des autres. Autrement dit, le modèle commence à « mélanger » ce qu'il distinguait auparavant, et perd du même coup une partie de ses compétences antérieures.

RGR repose sur cette observation. La méthode ajoute une régularisation qui, pendant le post-entraînement :

• maintient la compacité à l'intérieur d'un cluster de représentations ;
• préserve la séparation entre les clusters ;
• s'intègre aux méthodes OPSD existantes sans modifier leur procédure d'optimisation de base ;
• a été testée sur plusieurs méthodes OPSD et plusieurs benchmarks, et son code est ouvert sur GitHub (dépôt supermachinelearner/RGR).

La conclusion de l'abstract est formulée avec prudence : RGR atténue « dans l'ensemble » la dégradation et conserve le gain de capacités. Le texte de l'abstract ne contient aucun chiffre précis ; l'ampleur de l'effet ne peut donc s'évaluer que dans la version complète de l'article et dans le dépôt lui-même.

Ce qui compte ici, et ce qui reste flou

La valeur de ce travail tient autant au diagnostic qu'à la méthode elle-même. L'oubli lors de l'auto-amélioration se mesure au niveau des requêtes individuelles, et la géométrie des représentations en fournit un proxy mesurable. Cet indicateur peut se calculer pendant l'entraînement et détecter la dérive avant que les benchmarks ne décrochent.

Plusieurs questions restent ouvertes, car l'abstract n'y répond pas : comment les clusters sont définis exactement, combien de calcul le régularisateur ajoute, comment la méthode se comporte sur de grands modèles et sur de longues exécutions. La formule « dans l'ensemble » signifie aussi que, pour certaines combinaisons de méthodes et de tâches, l'effet peut être plus faible.

Que vérifier en pratique

Si votre équipe expérimente l'auto-distillation ou d'autres schémas d'auto-amélioration, il vaut la peine d'ajouter deux étapes à l'évaluation. La première : suivre non seulement le score moyen, mais aussi la part des requêtes que le modèle résolvait à des checkpoints précoces et qu'il a cessé de résoudre ensuite. La seconde : comparer des exécutions avec et sans RGR sur vos propres données. Comme la méthode ne modifie pas la boucle d'optimisation principale, la brancher sur un pipeline OPSD existant devrait être simple, et le code ouvert permet de vérifier l'effet annoncé avant de décider d'y passer.