Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarLangChain Blog→ original

LangChain a fait passer son agent de programmation de la 30e place à la 5e dans Terminal Bench, sans changer de modèle

LangChain a fait passer son agent de programmation Deep Agents de la zone située au-delà de la 30e place à la 5e place de Terminal Bench 2.0, sans changer de modèle : seul le harness, c'est-à-dire la couche d'orchestration, a été retravaillé. Les 52,8 % de départ obtenus avec GPT-5.2-Codex ont été relevés grâce à trois corrections : vérification de la solution par des tests, indications sur l'environnement et les limites de temps, protection contre les boucles. Si un agent se trompe, il faut d'abord analyser ses traces et améliorer le harness, et seulement ensuite changer de modèle.

Traité par IA depuis LangChain Blog ; édité par Hamidun News
LangChain a fait passer son agent de programmation de la 30e place à la 5e dans Terminal Bench, sans changer de modèle
Source : LangChain Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireLangChain Blog ↗
Rédacteur en chef
Chiffre clé #1Avant la sortie de l'agent, un middleware l'oblige à confronter sa solution à la consigne
Chiffre clé #2Après plusieurs modifications du même fichier, l'agent reçoit le conseil de revoir son approche
Raisonnementbeaucoup d'effort sur la planification et la vérification, moins sur l'implémentation

Quand un agent de programmation donne de mauvais résultats, le premier réflexe est de prendre un modèle plus puissant. L'équipe LangChain a testé une autre voie : elle a gardé le même modèle et refait tout ce qui l'entoure. Son agent Deep Agents est passé sur le benchmark Terminal Bench 2.0 de la zone située au-delà de la 30e place à la 5e place du classement. Seul le harness, c'est-à-dire la couche d'orchestration, a été modifié : prompt système, outils et hooks intermédiaires autour des appels au modèle et aux outils.

Comment les points faibles ont été identifiés

Terminal Bench 2.0 est un ensemble standard d'évaluation des agents programmeurs : 89 tâches couvrant l'apprentissage automatique, le débogage, la biologie et d'autres domaines. La version de base de l'agent, avec GPT-5.2-Codex, a obtenu 52,8 %. Un résultat correct, mais inférieur à la 30e place.

LangChain a ensuite mis en place un cycle reproductible. Toutes les actions de l'agent sont enregistrées dans les traces LangSmith, avec les latences, le nombre de tokens et le coût. L'analyse des traces a été formalisée sous forme de Agent Skill : il télécharge les traces d'une exécution, lance en parallèle des agents d'analyse des erreurs, puis l'agent principal rassemble leurs conclusions en propositions de modifications. Un humain peut vérifier et discuter ces changements, mais ce n'est pas obligatoire. Mise en garde : les corrections taillées pour une seule tâche peuvent en casser d'autres, il faut donc généraliser avec prudence. Le skill doit être publié.

Ce qui a réellement amélioré le résultat

L'auto-vérification. L'erreur la plus fréquente se déroulait ainsi : l'agent écrit sa solution, relit son code, estime que tout va bien et s'arrête. Le prompt a donc été complété par une méthode de travail : étudier la tâche et le code, établir un plan intégrant la vérification, écrire des tests (y compris les cas limites, pas seulement le scénario nominal), les exécuter, lire la sortie en entier et la comparer à ce que demande la consigne, et non à son propre code. En complément, un PreCompletionChecklistMiddleware intercepte l'agent avant la fin et l'oblige à confronter une nouvelle fois le résultat à la spécification.

Le contexte sur l'environnement. L'agent ne connaît pas à l'avance la structure des répertoires, les outils installés ni les délais d'exécution stricts. On lui fournit donc dès le départ une carte des répertoires et la liste des outils disponibles. Il se trompe alors moins souvent lors de ses recherches. On lui indique aussi que la solution sera vérifiée par des tests automatisés, et que les chemins de fichiers de la consigne doivent être respectés à la lettre. Des avertissements sur la limite de temps ont été ajoutés : les agents estiment mal la durée et n'arrivent pas jusqu'à l'étape de vérification.

La sortie de boucle. Une fois un plan choisi, l'agent peut apporter jusqu'à 10 modifications mineures, voire davantage, à une approche qui ne fonctionne pas. Le middleware compte les modifications apportées à chaque fichier et, au-delà d'un certain seuil, ajoute une suggestion de revoir la stratégie. Cela ne fonctionne pas toujours : si le modèle est convaincu d'avoir raison, il peut poursuivre dans la même voie.

Le budget de raisonnement. Un budget maximal de raisonnement à chaque étape consomme du temps et se heurte aux délais d'exécution. LangChain a retenu une répartition en « sandwich » : xhigh pour la planification, high pour l'implémentation, puis de nouveau xhigh pour la vérification finale. Les essais avec d'autres répartitions n'ont pas montré de différence notable, ce qui a motivé ce choix. Dans une configuration multi-modèles, la même logique peut consister à confier la planification à un grand modèle et l'implémentation à un petit.

Ce qu'il faut en retenir

Premièrement, les traces servent de source de retour d'expérience. Un modèle prend souvent une mauvaise voie faute d'un outil ou d'une instruction adéquats : il faut donc analyser les prompts et les outils ensemble.

Deuxièmement, les garde-fous comme le détecteur de boucles ou les rappels sur les tests sont une mesure provisoire, adaptée aux faiblesses actuelles des modèles. Les auteurs eux-mêmes écrivent qu'avec les progrès des modèles, ces béquilles deviendront probablement superflues.

Troisièmement, le harness doit être adapté à chaque modèle. Un test avec Claude Opus 4.6 sur une version antérieure du harness s'est révélé compétitif, mais moins bon que Codex : le cycle d'amélioration n'a pas été lancé pour Claude. Les principes généraux (préparation du contexte, accent sur la vérification) se transposent, mais quelques itérations propres à son modèle et à sa tâche restent rentables.

Des limites existent aussi. Le résultat provient d'un seul benchmark, avec des délais stricts, alors que le travail réel ne comporte généralement pas de telles contraintes. Les indications sur le temps et une partie des heuristiques devront donc être adaptées. LangChain prévoit ensuite d'étudier les combinaisons de plusieurs modèles (Codex, Gemini, Claude), la mémoire pour l'apprentissage continu des agents et les moyens de mesurer l'effet des modifications du harness selon les modèles. Deep Agents est un projet open source.

Dossier

Questions clés sur cet article

Comment les points faibles ont été identifiés?

Terminal Bench 2.0 est un ensemble standard d'évaluation des agents programmeurs : 89 tâches couvrant l'apprentissage automatique, le débogage, la biologie et d'autres domaines. La version de base de l'agent, avec GPT-5.2-Codex, a obtenu 52,8 %. Un résultat correct, mais inférieur à la 30e place. LangChain a ensuite mis en place un cycle reproductible. Toutes les actions de l'agent sont enregistrées dans les traces LangSmith, avec les latences, le nombre de tokens et le coût.

Que sait-on sur Ce qui a réellement amélioré le résultat ?

L'auto-vérification. L'erreur la plus fréquente se déroulait ainsi : l'agent écrit sa solution, relit son code, estime que tout va bien et s'arrête. Le prompt a donc été complété par une méthode de travail : étudier la tâche et le code, établir un plan intégrant la vérification, écrire des tests (y compris les cas limites, pas seulement le scénario nominal), les exécuter, lire la sortie en entier et la comparer à ce que demande la consigne, et non à son propre code.

Que sait-on sur Ce qu'il faut en retenir ?

Premièrement, les traces servent de source de retour d'expérience. Un modèle prend souvent une mauvaise voie faute d'un outil ou d'une instruction adéquats : il faut donc analyser les prompts et les outils ensemble. Deuxièmement, les garde-fous comme le détecteur de boucles ou les rappels sur les tests sont une mesure provisoire, adaptée aux faiblesses actuelles des modèles. Les auteurs eux-mêmes écrivent qu'avec les progrès des modèles, ces béquilles deviendront probablement superflues.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…