ProD apprend aux petits agents IA à ne plus tourner en boucle : test sur 8 modèles de 0,6B à 8B

Huit petits modèles de langage, de 0,6 à 8 milliards de paramètres, ont servi de terrain d'essai à une nouvelle méthode de distillation d'agents. Elle s'appelle Progress-Aware Distillation, ou ProD. Les auteurs de l'étude, publiée dans Hugging Face Daily Papers, s'attaquent à un défaut précis : sur les tâches longues, les agents élèves issus de la distillation se retrouvent piégés dans des boucles et répètent des stratégies qui ont déjà échoué.

Pourquoi les petits agents tournent en boucle

Les systèmes agentiques fondés sur de grands LLM résolvent des tâches complexes, mais le paient en tokens et en latence. Chaque étape de raisonnement, chaque appel d'outil et chaque réponse de l'environnement allongent le contexte et alourdissent la facture. C'est une contrainte sérieuse en production, et l'industrie transfère donc les compétences agentiques vers de petits modèles. La voie standard est la distillation par supervised fine-tuning : le modèle enseignant résout les tâches, l'élève s'entraîne sur ses trajectoires.

Le problème : plus la trajectoire s'allonge, moins l'élève garde le cap. Les chaînes « raisonnement — action » s'étirent, les retours de l'environnement s'accumulent et le modèle se met à tourner en rond. Les auteurs parlent de stagnation du progrès : l'agent applique encore et encore des approches qui ne fonctionnent pas et n'avance pas vers l'objectif. Selon leur analyse systématique, l'effet se reproduit sur différents petits modèles et dans différents types de tâches. Il ne tient donc pas à une seule architecture malheureuse.

Comment fonctionne ProD

L'idée consiste à rendre la stagnation mesurable et sanctionnable directement pendant l'entraînement. ProD détecte explicitement la stagnation dans les trajectoires générées par l'élève lui-même, puis la pénalise. L'écart entre l'élève et l'enseignant sur cet indicateur est encodé dans un margin adaptatif. Plus l'élève est en retard sur l'enseignant en matière de progression, plus la pénalité est sévère. Quand l'écart se réduit, la pression diminue.

La procédure s'applique de façon itérative, et l'élève se rapproche pas à pas du comportement de l'enseignant. La description ne donne aucun détail d'implémentation, mais la structure avec un margin et des trajectoires de l'élève rappelle les méthodes d'apprentissage par préférences. Il s'agit de mon hypothèse, formulée à partir de l'abstract, et non d'une affirmation des auteurs. Un autre point compte davantage : l'entraînement ne se limite pas aux démonstrations « idéales » de l'enseignant. L'élève voit aussi ses propres échecs, et la méthode lui indique ce qui ne va pas dans ces parcours.

Ce que montrent les expériences

D'après l'abstract, les tests ont été larges :

• 8 petits modèles de langage ;
• tailles de 0,6B à 8B paramètres ;
• benchmarks dans le domaine d'entraînement (in-domain) et hors de celui-ci (out-of-domain) ;
• métriques : taux de tâches réussies et efficacité d'exécution.

Les auteurs affirment que ProD réduit nettement la stagnation tout en améliorant à la fois le success rate et l'efficacité d'exécution des tâches. L'abstract ne donne aucun pourcentage : il est donc trop tôt pour juger de l'ampleur du gain. Il faudra consulter le texte complet : noms des benchmarks, méthodes de référence utilisées pour la comparaison, dispersion des résultats d'un modèle à l'autre. Reste aussi une question distincte : combien coûte la boucle itérative, avec la génération de trajectoires par l'élève et l'annotation de la stagnation ?

Que faire pour les équipes qui construisent des agents

Les ingénieurs qui assemblent des agents peu coûteux sur des modèles de classe 1–8B devraient vérifier où se dégrade précisément la qualité. Si le taux de réussite chute avec la longueur de l'épisode et que les logs montrent des actions répétées, il s'agit bien de cette stagnation. Une étape de diagnostic simple consiste à calculer la part des trajectoires où la même action se répète ou qui ne progressent pas en N étapes. Cet indicateur est utile, que ProD vous convienne ou non.

Si vous distillez vous-même des agents, il est judicieux d'intégrer à la boucle d'entraînement les trajectoires de l'élève, et pas seulement celles de l'enseignant. Cela suppose de payer des exécutions supplémentaires et l'annotation de la progression. En contrepartie, vous avez une chance de réduire le nombre de tokens par tâche sans perdre en fiabilité. Pour l'instant, c'est le résultat d'un seul article, sans vérification indépendante. Mais il pointe un vrai goulot d'étranglement : un agent bon marché ne casse pas à la première étape, mais à la vingtième.