Le plan a fait gagner 11,6 points de pourcentage au modèle faible, le terminal a suffi au modèle fort
Un même modèle n'est pas lancé de la même façon par tous les assistants IA de code : avec ou sans plan, avec une boîte à outils ou avec un simple terminal. Des chercheurs ont testé 176 configurations de ce type. Pour le petit Nemotron-3 30B, le plan a ajouté 11,6 p.p. de bugs résolus sur SWE-Bench. Pour le grand 550B, un seul terminal a apporté +3,6 p.p. et réduit le coût d'une tâche de 53 %. Le harnais doit donc être choisi en fonction du modèle.
Traité par IA depuis Habr AI ; édité par Hamidun News
Vous l'avez sans doute remarqué : un même modèle corrige des bugs dans un assistant IA de code, puis bute sur une tâche simple dans un autre. Le modèle n'est pas toujours en cause. Il est entouré d'une couche logicielle, le « harnais » (harness en anglais).
C'est elle qui décide si l'agent établit un plan, avec quels outils il touche aux fichiers et au terminal, et ce qu'il fait quand la conversation ne tient plus dans la fenêtre de contexte. Des chercheurs ont mesuré ce que cela change concrètement. Pour le modèle faible Nemotron-3 à 30 milliards de paramètres, le plan a ajouté 11,6 point de pourcentage (p.
p.) de tâches résolues sur SWE-Bench, un jeu de 500 bugs réels dans des dépôts Python. Pour fixer les idées : si le modèle résolvait 30 % des tâches sans plan, il en résoudrait 41,6 % avec.
À l'inverse, pour le modèle fort de 550 milliards de paramètres, il s'est avéré plus avantageux de travailler avec un seul terminal plutôt qu'avec huit outils prêts à l'emploi : la précision a progressé de 3,6 p.p. et le coût d'une tâche a chuté de 53 %.
Comment l'étude a été menée
On compare généralement les harnais en lançant des produits finis sur les mêmes tâches. Dans ce cas, impossible de savoir ce qui explique l'écart. Ici, les auteurs sont partis d'une simple boucle ReAct (le modèle raisonne, agit, observe le résultat et recommence) et n'ont fait varier que trois composants.
Le premier est la planification. Le modèle dispose d'un outil update_plan : une liste d'étapes où une seule est en cours à chaque instant, les autres étant terminées ou à venir. Le modèle ne voit que la version la plus récente du plan, et les anciens brouillons n'occupent pas le contexte.
Le deuxième est le jeu d'actions. Dans la version complète, il y a huit outils : lecture, création et édition ciblée de fichiers, consultation de répertoires, recherche par nom et par texte de code, terminal et chargement de pages web. Dans la version réduite, il ne reste que le terminal.
Le troisième est la gestion du contexte, avec cinq variantes. La première ne fait rien. Les autres remplacent les anciens résultats d'outils par un court texte de substitution (le texte disparaît définitivement ou peut être restauré), résument l'ancien historique avec le même modèle, ou combinent les deux approches. Dans la variante combinée, les textes de substitution, peu coûteux, se déclenchent à un seuil souple de remplissage de la fenêtre, et le résumé, plus coûteux, seulement à un seuil strict.
Modèles testés : Nemotron-3 à 30, 120 et 550 milliards de paramètres, et Mistral-Medium-3.5-128B, issu d'une autre famille. Tâches : les 500 bugs de SWE-Bench Verified et les 89 tâches en ligne de commande de Terminal-Bench 2.1. La fenêtre va de 32 000 à 128 000 tokens, pour un total de 176 configurations.
Contexte, résumé et « restauration » du texte
Sans gestion du contexte, avec une fenêtre de 32 000 tokens, 78,7 % des tâches SWE-Bench étaient perdues en moyenne : la conversation atteignait la limite et l'exécution s'interrompait sur une erreur. Avec 128 000 tokens, les pertes tombaient à 8,7 %. Sur Terminal-Bench, elles passaient de 61 % à 12 %. Avec n'importe quelle gestion du contexte, aucune tâche n'était perdue. Le comportement de l'agent changeait à peine : il avait simplement le temps d'arriver jusqu'à la vérification.
Les textes de substitution et le résumé ont donné une précision proche, mais un coût différent. Le texte de substitution remplace un contenu déjà disponible, alors que le résumé exige un appel distinct, payant, au modèle. L'hybride à deux seuils s'est donc révélé le plus avantageux : à précision comparable, il était le moins cher dans presque toutes les combinaisons.
L'idée de « laisser le modèle restaurer un résultat supprimé » n'a pas fonctionné. Dans plus de la moitié des configurations dotées de cet outil, il n'a jamais été appelé. Le modèle le plus faible l'a utilisé plus activement, plus de quatre fois par tâche sur Terminal-Bench avec une fenêtre de 32 000 tokens, mais le résultat était inférieur de 3,4 p.p. à celui des textes de substitution sans restauration. En moyenne, l'écart n'atteignait pas un demi-point.
Les modèles faibles ont besoin d'indications, elles gênent les forts
Pour Nemotron-3 30B, le plan a été la condition pour obtenir un résultat, quel qu'il soit. Sans lui, la trajectoire type sur SWE-Bench passait de 40 à 5 étapes, et plus des deux tiers des exécutions s'achevaient sans une seule modification du code. Avec le plan, ces exécutions représentaient 27,8 %.
Dans 58,4 % des exécutions sans plan, le modèle n'a jamais dépassé la recherche du bon endroit dans le code ; avec le plan, c'était le cas de 10,4 %. Bilan : +11,6 p.p.
sur SWE-Bench et +4,5 p.p. sur Terminal-Bench, même si le travail est devenu plus long et plus coûteux.
Quand on a laissé un seul terminal à ce modèle, il a continué d'appeler des outils inexistants. Sur Terminal-Bench, cela a interrompu deux tiers des exécutions, et la précision a chuté de 15 p.p.
sur SWE-Bench et de 10 p.p. sur Terminal-Bench.
Pour Nemotron-3 550B et Mistral, le plan n'a presque pas modifié la précision, mais le coût sur SWE-Bench baissait d'environ 30 % : disparaissaient surtout les vérifications après modification, c'est-à-dire que le modèle revérifiait moins souvent une solution déjà prête. Pour le 550B, un seul terminal a relevé la précision de 3,6 p.p. sur SWE-Bench et de 5,6 p.p. sur Terminal-Bench, tout en réduisant le coût de 53 % et de 30 %. Le modèle regroupait plusieurs opérations en une seule commande et modifiait moins souvent un fichier par petits morceaux : 1,5 modification par tâche au lieu de 4,6.
Pour Mistral, tout dépendait du type de tâches. Sur SWE-Bench, sans les outils prêts à l'emploi, il a perdu 23,2 p.p., et un tiers des exécutions (32,8 %) s'est terminé sans une seule modification, contre 1,2 % avec le jeu complet. Sur Terminal-Bench, en revanche, un seul terminal a apporté +6,7 p.p. : ces tâches se résolvent de toute façon par des commandes. Nemotron-3 120B s'est montré irrégulier : pas de gain stable avec le plan, et les outils prêts à l'emploi ont donné +1,6 p.p. sur SWE-Bench et +4,5 p.p. sur Terminal-Bench.
Que faire en pratique
- Avec une fenêtre réduite (jusqu'à 64 000 tokens), activez la gestion du contexte, de préférence un hybride de textes de substitution et de résumé.
- Pour un modèle faible, fournissez un plan et le jeu d'outils complet.
- Pour un modèle fort, testez un harnais allégé : sans plan et avec un seul terminal. Cela peut économiser jusqu'à un tiers du budget sans perte de qualité.
- Le mécanisme de restauration de l'historique supprimé peut être laissé de côté.
- Si les tâches dépendent de la structure du dépôt, les outils de fichiers sont utiles. Si tout se règle via le shell, ils peuvent gêner en multipliant les choix.
Limites
Chaque configuration n'a été exécutée qu'une seule fois, et Terminal-Bench est de petite taille : beaucoup d'écarts y sont donc statistiquement non significatifs. Le plan et les outils n'ont été testés qu'avec une seule stratégie de contexte et la plus grande fenêtre. SWE-Bench se compose de tâches en Python, et la taille d'un modèle ne reflète que grossièrement ses capacités. La conclusion est simple : il n'existe pas de harnais universel ; on le choisit pour un couple « modèle et type de tâches » et on le mesure sur ses propres données.
- 12 nov. 2026Huit pays, OpenAI et Anthropic promettent un « interrupteur d'arrêt » pour les modèles d'IA, mais sans échéances ni sanctions
- 12 nov. 2026ElevenLabs Scribe v3 Live apprend aux agents vocaux à ne pas couper la parole : 25 % d'erreurs en moins
- 12 nov. 2026Prompt en russe dans ComfyUI : FLUX.2 et Qwen-Image perdent 4 à 13 points, et SD-Turbo presque tout
- 8 nov. 2026À Moscou, un protocole de consultation piloté par l’IA remplit 50 champs en 35 secondes, tandis que les cliniques privées restent silencieuses
Questions clés sur cet article
Comment l'étude a été menée?
On compare généralement les harnais en lançant des produits finis sur les mêmes tâches. Dans ce cas, impossible de savoir ce qui explique l'écart. Ici, les auteurs sont partis d'une simple boucle ReAct (le modèle raisonne, agit, observe le résultat et recommence) et n'ont fait varier que trois composants. Le premier est la planification. Le modèle dispose d'un outil update_plan : une liste d'étapes où une seule est en cours à chaque instant, les autres étant terminées ou à venir.
Que sait-on sur Contexte, résumé et « restauration » du texte ?
Sans gestion du contexte, avec une fenêtre de 32 000 tokens, 78,7 % des tâches SWE-Bench étaient perdues en moyenne : la conversation atteignait la limite et l'exécution s'interrompait sur une erreur. Avec 128 000 tokens, les pertes tombaient à 8,7 %. Sur Terminal-Bench, elles passaient de 61 % à 12 %. Avec n'importe quelle gestion du contexte, aucune tâche n'était perdue. Le comportement de l'agent changeait à peine : il avait simplement le temps d'arriver jusqu'à la vérification.
Que sait-on sur Les modèles faibles ont besoin d'indications, elles gênent les forts ?
Pour Nemotron-3 30B, le plan a été la condition pour obtenir un résultat, quel qu'il soit. Sans lui, la trajectoire type sur SWE-Bench passait de 40 à 5 étapes, et plus des deux tiers des exécutions s'achevaient sans une seule modification du code. Avec le plan, ces exécutions représentaient 27,8 %. Dans 58,4 % des exécutions sans plan, le modèle n'a jamais dépassé la recherche du bon endroit dans le code ; avec le plan, c'était le cas de 10,4 %. Bilan : +11,6 p.p. sur SWE-Bench et +4,5 p.p.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.