STI-OPD : une intervention probabiliste du professeur pour les tâches agentiques multi-étapes

Les auteurs Junnan Liu, Linhao Luo, Zhijun Chen, Qianren Mao, Thuy-Trang Vu et Gholamreza Haffari présentent STI-OPD, un framework d'intervention stochastique du professeur pour l'apprentissage agentique multi-étapes par distillation. Le travail est enregistré sur arXiv sous le numéro 2610.10878, dans la section Computation and Language.

Le problème de la distillation on-policy dans les systèmes agentiques

La distillation on-policy transfère efficacement les capacités d'un professeur puissant vers un étudiant plus faible grâce à une supervision dense au niveau de chaque token. Cette approche a montré des résultats prometteurs sur des tâches complexes, notamment le raisonnement mathématique. Cependant, dans les systèmes agentiques multi-étapes, les décisions de l'étudiant modifient les observations suivantes. Une erreur commise tôt s'accumule tout au long de la trajectoire d'interaction. Les trajectoires de l'étudiant finissent par dériver loin de la distribution du professeur — sa supervision devient alors peu fiable, voire nuisible à l'apprentissage, ce qui réduit l'efficacité globale de la méthode.

Architecture de STI-OPD

L'intervention du professeur est pilotée par l'écart entre les politiques de l'étudiant et du professeur. Pendant l'interaction multi-étapes, le système remplace parfois l'action de l'étudiant par celle du professeur — ce qui maximise l'accumulation d'une supervision fiable pour l'apprentissage.

L'innovation clé réside dans la stratégie d'intervention stochastique. Plutôt que d'imposer des seuils rigides ou des calendriers d'intervention fixes, le système procède ainsi : il évalue l'écart entre les politiques via la divergence KL entre les distributions d'actions du professeur et de l'étudiant ; il convertit cet écart en probabilité d'intervention ; il échantillonne de façon probabiliste la décision d'intervenir à chaque instant. Cela permet d'équilibrer de manière adaptative le contrôle du professeur et l'exploration autonome de l'étudiant, en fonction de l'état actuel de l'écart entre les politiques.

Apprentissage sur des trajectoires mixtes

Les trajectoires obtenues contiennent un mélange d'actions provenant à la fois du professeur et de l'étudiant. Pour apprendre correctement sur ces données mixtes, les auteurs introduisent l'objectif Importance-Weighted Reverse KL. Ce composant corrige le décalage d'échantillonnage des tokens entre les réponses générées par le professeur et la distribution de la politique de l'étudiant. Cela préserve l'objectif initial de la distillation on-policy et évite les biais dans le processus d'apprentissage.

Résultats et applicabilité

Les expériences couvrent deux catégories de tâches : le raisonnement avec intégration d'outils (tool-integrated reasoning) et l'interaction à long horizon (long-horizon interaction) avec l'environnement. Sur tous les benchmarks évalués et pour toutes les tailles de modèles étudiants, STI-OPD surpasse la meilleure baseline précédente de distillation on-policy. Les études d'ablation confirment que les deux composants clés — l'intervention pilotée par l'écart entre les politiques et la correction par importance pondérée — contribuent tous deux au gain final de performance. L'article est signalé comme un travail en cours et est disponible aux formats PDF, HTML et TeX Source sur arXiv.