BeliefWeaver gagne 5,1 pp sur les tâches longues des agents, l'élève 9B en gagne 9,8

Un agent qui travaille pendant une heure dans un terminal ne se plante pas toujours à la dernière étape. La cause se cache souvent au milieu de la chaîne : une dépendance mal choisie, une vérification sautée, une configuration corrompue. La réflexion locale et le retour d'un pas en arrière ne détectent pas ce type d'erreur.

Les auteurs d'un article publié sur Hugging Face Daily Papers proposent un framework, BeliefWeaver. Sur trois benchmarks de terminal, il améliore de 5,1 points de pourcentage le score final agrégé par rapport à la poursuite native de Terminus-2. La version distillée dans un modèle 9B gagne 9,8 pp face au baseline natif rapporté et réduit de 54,8% le coût estimé des appels à l'API du modèle enseignant.

Garder la mémoire des échecs au lieu de repartir de zéro

L'idée centrale : l'expérience des tentatives ratées ne disparaît pas d'un lancement à l'autre. BeliefWeaver tient un état de croyances relationnel, qui relie quatre types d'entités : les frontières (les pistes que l'agent peut explorer ensuite), les tentatives, les observations et les checkpoints. Quand une tentative apporte une information, les priorités sont mises à jour non seulement pour la frontière concernée, mais aussi pour celles qui lui sont liées, aussi bien entre les tentatives que lors d'un retour en arrière. Les données de diagnostic jouent alors un rôle de filtre : elles conditionnent l'exécution, et l'agent n'avance pas à l'aveugle.

Le second composant est un modèle du monde implicite (IWM). Il évalue les hypothèses de correction, prédit si la direction choisie mènera à un progrès et repère les liens entre les frontières. L'agent ne reçoit donc pas seulement une liste de « ce qui a été essayé », mais aussi une prévision de « la direction qui vaut la peine d'être suivie ». Selon les auteurs, cela améliore aussi l'efficacité de l'exploration : les tendances sur cet indicateur sont positives, même si le résumé de l'article ne fournit aucun chiffre.

Distillation vers un 9B : d'où vient l'économie

Un modèle du monde fondé sur un grand LLM coûte cher, car chaque évaluation d'hypothèse est un appel d'API. Les auteurs ont donc isolé les composants de raisonnement récurrents de l'IWM et les ont transférés à un élève de 9 milliards de paramètres. Ils ont utilisé le supervised fine-tuning et l'on-policy distillation (OPD). L'OPD désigne en général un entraînement sur les trajectoires de l'élève lui-même, évaluées par l'enseignant, et pas seulement sur des exemples préparés. Cela réduit l'écart entre l'entraînement et l'exécution réelle.

• Gain de BeliefWeaver sur la poursuite native de Terminus-2 : +5,1 pp de score final agrégé.
• Gain de l'élève 9B sur le baseline natif rapporté : +9,8 pp.
• Baisse du coût estimé de l'API de l'enseignant par rapport au matched teacher : 54,8%.
• Évaluation sur trois benchmarks de terminal.
• Composants d'entraînement : SFT et OPD.

On ne peut pas comparer directement 5,1 et 9,8. Le premier chiffre est obtenu face à la poursuite native de Terminus-2, le second face à un baseline natif rapporté (reported). L'économie de 54,8% est présentée comme une estimation. Le résumé de l'article ne donne ni les noms des benchmarks, ni le modèle de base de l'élève, ni les scores absolus. Il faut vérifier ces points dans le texte complet avant de tirer la moindre conclusion sur la reproductibilité.

Ce que les équipes qui construisent des agents peuvent en retenir

Même sans adopter BeliefWeaver lui-même, on peut tirer de ce travail plusieurs pratiques d'ingénierie. Première : stocker les preuves d'échec de façon structurée et entre les tentatives, et pas seulement dans le contexte de l'exécution en cours. Deuxième : sauvegarder des checkpoints et y rattacher les observations, pour que le retour en arrière remonte à la vraie cause et pas seulement à la dernière étape.

Troisième : placer une barrière de diagnostic avant les actions coûteuses ou irréversibles. Enfin, si le coût des appels à un modèle puissant dans la boucle est critique, il vaut la peine de tester la distillation de composants de raisonnement ciblés vers un petit modèle. Un résultat de 9,8 pp avec des coûts d'enseignant presque divisés par deux montre que la piste est viable, mais il faut la confirmer sur ses propres tâches.