ProD empêche les agents IA de boucler : test sur 8 modèles (0,6B–8B)

Les agents fondés sur de petits modèles de langage se retrouvent coincés dans des boucles : ils répètent des stratégies erronées et perdent leur progression sur des tâches complexes nécessitant de longues chaînes de raisonnement. Ce problème devient critique lors de la distillation des capacités de grands modèles vers des petits via du supervised fine-tuning : l'élève apprend vite, mais ne parvient pas à sortir des minima locaux et finit par boucler. Le problème touche aussi bien les modèles de 0,6B que ceux de 8B paramètres.

Des chercheurs de la Pennsylvania State University et de Microsoft CoreAI proposent, dans un article soumis à NeurIPS 2026, Progress-Aware Distillation (ProD) — une méthode qui pénalise explicitement le bouclage dans la fonction de perte de l'élève. L'idée repose sur un principe simple : l'écart de progression entre le petit modèle et le grand modèle constitue un signal de stagnation, exploitable pour appliquer une pénalité adaptative.

Le fonctionnement de ProD

À chaque étape de l'interaction de l'agent avec son environnement, l'algorithme compare la progression de l'élève à celle de l'enseignant : • Si l'élève avance au même rythme que l'enseignant, la pénalité est minimale • Si l'élève est en retard mais progresse encore, la pénalité est modérée • Si l'élève est totalement bloqué (il ne progresse pas, alors que l'enseignant progresserait), la pénalité est maximale

Cet écart est codé dans une marge adaptative qui évolue dynamiquement. Vient ensuite une distillation itérative : l'élève s'entraîne avec cette nouvelle fonction de perte, s'améliore légèrement, et la stagnation est recalculée à l'itération suivante en tenant compte de ses progrès.

Expériences : 8 modèles, deux types de benchmarks

Les tests ont couvert : • Par taille : 0,6B paramètres, 1B–3B paramètres, 3B–8B paramètres • Par domaine : in-domain (tâches issues de la distribution d'entraînement) et out-of-domain (nouveaux domaines)

L'in-domain permet de vérifier si le modèle a bien assimilé la méthode. L'out-of-domain teste sa robustesse en conditions réelles, face à des tâches inconnues.

Résultats

ProD a stabilisé le comportement des agents sur les huit modèles testés :

1. Réduction du bouclage : la proportion de trajectoires où l'agent répète ses erreurs chute significativement 2. Hausse de la réussite : le taux de tâches correctement résolues (task success rate) progresse 3. Efficacité : les agents ont besoin de moins d'étapes pour résoudre les tâches (consommation de tokens réduite) 4. Généralisation : l'effet se maintient sur les benchmarks out-of-domain, ce qui est inhabituel pour des modèles distillés

Ce dernier point est particulièrement important : en général, les modèles distillés ne généralisent pas bien à de nouveaux domaines. Ici, la qualité est préservée, ce qui suggère que ProD enseigne une compétence fondamentale (ne pas boucler) plutôt qu'une simple mémorisation.

Disponibilité et auteurs

L'article a été publié intégralement. Le code est ouvert sur GitHub : https://github.com/CaoYuanpu/ProD

Auteurs : Yuanpu Cao, Saket Sathe, Hanyu Wang, Ziyi Yin, Fenglong Ma, Jinghui Chen (Pennsylvania State University et Microsoft CoreAI)

L'équipe d'auteurs invite à la discussion et se dit prête à répondre aux questions.