STI-OPD : l'enseignant remplace de façon probabiliste les actions de l'agent et bat les baselines OPD

Les auteurs du preprint arXiv:2610.10878 proposent STI-OPD, une variante de la distillation on-policy pour les agents qui travaillent en plusieurs tours. Le principe : l'enseignant remplace, avec une certaine probabilité, l'action de l'élève par la sienne, et cette probabilité est calculée à partir de la divergence entre les politiques. Selon les auteurs, la méthode devance le plus solide baseline OPD antérieur sur chaque benchmark évalué et pour chaque taille d'élève. L'abstract ne donne aucun gain chiffré en pourcentage : il faut les chercher dans le texte complet de l'article.

Où la distillation on-policy se grippe

Le principe de l'OPD est simple. L'élève génère lui-même ses trajectoires, et l'enseignant fournit à chaque token un signal dense : l'écart entre sa distribution et celle de l'élève. Cette approche a déjà fait ses preuves sur des tâches complexes comme le raisonnement mathématique, où toute la génération tient dans une seule longue réponse.

Les scénarios agentiques posent plus de difficultés. L'élève choisit une action, l'environnement répond par une observation, et cette observation détermine l'étape suivante. Une erreur précoce en entraîne d'autres. Après quelques tours, la trajectoire se retrouve dans une zone où l'enseignant ne serait jamais allé de lui-même. Son annotation au niveau des tokens devient alors moins fiable, voire nuisible par endroits : on apprend à l'élève à corriger une situation qui n'existe tout simplement pas dans un déroulé normal de la tâche.

Comment fonctionne STI-OPD

Pendant l'interaction multi-étapes, la méthode mesure l'écart entre les politiques de l'enseignant et de l'élève via la divergence KL, puis le convertit en probabilité d'intervention. À chaque étape, un tirage aléatoire décide ensuite de conserver l'action de l'élève ou de la remplacer par une action générée par l'enseignant. Plus la trajectoire s'écarte de l'enseignant, plus celui-ci a de chances de reprendre la main et de la ramener dans la zone où son signal est fiable.

Les auteurs opposent cette approche aux schémas antérieurs, fondés sur un seuil de divergence strict ou sur un calendrier fixe d'interventions. D'après eux, la variante probabiliste équilibre mieux le contrôle de l'enseignant et l'exploration par l'élève : ce dernier ne perd pas ses propres pas, mais ne s'égare pas trop loin non plus.

Les trajectoires mixtes ont un coût technique. Une partie des tokens a été écrite par l'enseignant et ne correspond pas à la distribution de l'élève, ce qui rend biaisé l'objectif OPD habituel. Pour corriger ce biais, les auteurs introduisent un Importance-Weighted Reverse KL, qui tient compte de l'écart entre l'échantillonnage des tokens par l'enseignant et la politique de l'élève, et préserve l'objectif OPD d'origine.

Les principaux éléments de la méthode :

• l'intervention est pilotée par la divergence KL entre les politiques de l'enseignant et de l'élève ;
• la divergence est convertie en probabilité, et la décision est prise par échantillonnage ;
• le remplacement de l'action s'effectue au niveau de l'étape, dans l'interaction multi-tours ;
• l'entraînement sur les trajectoires mixtes passe par un Importance-Weighted Reverse KL ;
• l'évaluation couvre le tool-integrated reasoning et les interactions longues (long-horizon).

Ce que montrent les expériences

Selon l'abstract, STI-OPD surpasse le plus solide baseline OPD précédent sur chaque benchmark et pour chaque taille de modèle élève. Les ablations montrent séparément que les deux composants contribuent aux résultats : l'intervention guidée par la divergence et l'importance weighting. Sans l'un ou l'autre, le gain diminue.

Les limites sont également visibles. La méthode exige un enseignant disponible pendant l'entraînement et capable de générer des actions à la demande, ce qui représente un coût d'inférence d'un modèle puissant à chaque étape. Les résultats ne sont décrits pour l'instant que dans le preprint, aucune reproduction indépendante n'existe, et l'annonce ne fournit pas le tableau complet des métriques.

À qui cela peut servir

Les équipes qui distillent de grands modèles vers des agents compacts, destinés à manipuler des outils, du code ou de longs dialogues, obtiennent une recette concrète contre la dérive de trajectoire. Elles peuvent la tester sur leur propre pipeline : il suffit de journaliser la KL entre les politiques à chaque étape et de comparer l'intervention par seuil à l'intervention probabiliste. Si l'inférence de votre enseignant coûte cher, mieux vaut estimer d'avance la part des étapes qui finiront par reposer sur ses actions. Il est préférable d'ajouter d'emblée le poids d'importance correctif : sinon, lors du remplacement de tokens, on perd facilement la correspondance avec l'objectif OPD d'origine.