Des chercheurs testent 16 types d'indices pour l'OPSD et dégagent une métrique de sélection

L'on-policy self-distillation (OPSD) permet à un modèle de langage d'apprendre à partir d'informations privilégiées, sans modèle enseignant distinct. Un nouvel article, repéré dans les Hugging Face Daily Papers, montre que l'indice lui-même (la PI) pèse autant sur le résultat que l'algorithme. Les auteurs ont fait passer 16 configurations de PI sur trois benchmarks agentiques multi-tours, avec trois modèles étudiants de tailles et de modes de raisonnement différents. Principal enseignement pratique : la qualité d'un indice peut être estimée avant l'entraînement grâce à des métriques KL, et cette méthode est plus fiable que la vérification directe de son utilité.

Pourquoi la PI est devenue le point faible de l'OPSD

Le principe est connu : le modèle voit la tâche accompagnée d'informations supplémentaires, que l'« étudiant » n'a pas à l'inférence, et sa distribution de tokens sert de signal d'apprentissage. L'étudiant s'entraîne sur ses propres échantillons, d'où le terme on-policy. Aucun enseignant supplémentaire n'est nécessaire.

Jusqu'ici, la plupart des travaux traitaient la PI comme un choix de conception figé. Peu d'études se sont penchées sur ce qu'il faut y mettre et sur la façon de la construire. Dans les tâches agentiques multi-tours, la question se pose avec plus d'acuité : une trajectoire se compose d'actions, d'observations et de raisonnements, et il existe une dizaine de façons de la transformer en indice. On peut ne garder que le résultat final, ajouter les étapes intermédiaires ou mettre en avant les étapes erronées.

Ce que montrent les 16 configurations

L'efficacité de la PI dépend simultanément de trois facteurs : son contenu, sa source de génération et le modèle étudiant lui-même. Les tendances générales sont les suivantes :

• les trajectoires riches en information, utilisées comme PI, apportent en moyenne un gain plus important ;
• une PI créée par un générateur plus puissant est généralement plus utile ;
• les modèles « thinking » profitent de la PI de façon moins stable que les modèles sans mode de raisonnement explicite ;
• il n'existe pas de recette universelle : la meilleure configuration change d'une tâche à l'autre et d'un étudiant à l'autre.

Les auteurs ne donnent pas de gains chiffrés dans le résumé de l'article ; pour mesurer l'ampleur de l'effet, il faudra donc consulter le texte complet.

Comment évaluer un indice avant l'entraînement

Lancer un entraînement complet pour vérifier chaque PI coûte cher. Les auteurs ont donc comparé l'évaluation directe de l'utilité de la PI à deux métriques fondées sur la divergence KL :

• sampled-token reverse KL (D) : la KL inverse calculée sur les tokens échantillonnés ;
• error-step KL contrast (Δd⁻_err) : un contraste de KL centré sur les étapes où l'agent se trompe.

Les deux métriques concordent plus régulièrement avec la qualité finale après entraînement que l'évaluation directe de l'utilité. Cette dernière a un point faible : elle est faussée par la fuite d'information. Si l'indice contient de fait la réponse, le modèle qui en dispose paraît performant, mais l'étudiant n'en retire rien.

Les auteurs ont aussi testé un scénario pratique. Choisir la PI de chaque tâche selon Δd⁻_err améliore le résultat après entraînement par rapport à un choix aléatoire. Le gain est maximal lorsque les candidats diffèrent fortement entre eux. Si toutes les variantes d'indices se valent à peu près, la métrique n'apporte presque rien.

OPSD plus GRPO

Une vérification distincte portait sur la compatibilité avec le RL. Une PI efficace reste utile quand on combine OPSD et GRPO, et l'objectif combiné dépasse une baseline GRPO solide. Autrement dit, la self-distillation ne concurrence pas l'apprentissage par renforcement : elle le complète.

Ce qu'il faut en retenir en pratique

Une équipe qui entraîne des agents par self-distillation a intérêt à cesser de considérer le format de la PI comme une constante. Voici un ordre d'action raisonnable :

• constituer plusieurs variantes de PI à partir des mêmes trajectoires, des plus compressées aux plus denses ;
• si possible, générer les indices avec un modèle plus puissant ;
• classer les candidats selon les métriques KL, et non selon la capacité du modèle à résoudre la tâche avec l'indice dans son contexte, faute de quoi la fuite d'information fausse le jugement ;
• pour les modèles « thinking », ne pas compter sur le même gain que pour les modèles classiques et le vérifier séparément ;
• si un pipeline GRPO existe déjà, y ajouter l'OPSD avec la PI sélectionnée comme second terme de l'objectif.

La limite est claire elle aussi. Le travail est empirique, ses conclusions reposent sur trois benchmarks et trois étudiants, et leur transfert à d'autres domaines reste à vérifier. Mais comme guide d'ingénierie des indices pour la self-distillation, le résultat est utile : il remplace l'intuition par une métrique peu coûteuse, calculable avant de lancer un entraînement onéreux.