Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAPI / Produit · Prêt à l'emploiHabr AI→ original

Google publie Harness² : un agent IA réécrit lui-même son harnais, et le score de GLM-5 passe de 64,2 à 75,7

Google Research a publié Harness², un cadre dans lequel un agent IA modifie lui-même son « harnais » : instructions, skills et règles d'utilisation des outils. Par exemple, si l'agent lit avidement tout le dépôt, l'éditeur ajoute une règle lui imposant d'abord d'examiner la structure des dossiers. Sur WorkBuddy-Bench (tâches bureautiques, web et de programmation), le score de GLM-5 passe de 64,2 à 75,7 points, sans réentraînement. Avant de passer à un modèle plus coûteux, il vaut donc la peine de vérifier ce que peut apporter le réglage du harnais.

Traité par IA depuis Habr AI ; édité par Hamidun News
Google publie Harness² : un agent IA réécrit lui-même son harnais, et le score de GLM-5 passe de 64,2 à 75,7
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Fonctionne avec OpenCode et Codex, les poids du modèle ne changent pas
Chiffre clé #2Un budget k=5 au lieu de k=1 ajoute encore +2,6 à 6,7 points, mais avec 5 fois plus d'exécutions
Il s'agit d'un code de rechercheLinux, Python 3.12, l'API peut évoluer

Google Research a publié en accès libre Harness², un cadre dans lequel un agent IA règle lui-même son « harnais ». Le harnais (harness) désigne tout ce qui entoure le modèle de langage : instructions système, règles d'utilisation des outils, mémoire, skills, sous-agents. L'agent équivaut au LLM plus son harnais, et c'est ce dernier qui détermine si l'agent cherche proprement les fichiers utiles ou s'il parcourt tout le dépôt et sature son contexte.

D'ordinaire, les ingénieurs ajustent ces réglages à la main, ce qui prend du temps et coûte cher. Harness² le fait automatiquement : sur WorkBuddy-Bench (tâches bureautiques, web et de programmation), le score du modèle GLM-5 associé à OpenCode passe de 64,2 à 75,7 points, soit +11,5. Les poids du modèle ne changent pas.

De quoi se compose le harnais

Le README du cadre distingue huit composants, et Harness² sait modifier chacun d'eux :

  • System prompt — l'instruction de base : ce que l'agent lit en premier.
  • Guardrails — les garde-fous : ce qu'il n'est pas autorisé à faire.
  • Memory — ce qu'il retient d'une étape à l'autre.
  • Tool guidance — l'usage des outils : quand consulter la documentation, et quand répondre directement.
  • Subagents — la délégation : un agent découpe la tâche, d'autres en exécutent les parties.
  • Skills — des ensembles de procédés prêts à l'emploi pour des tâches types.
  • Scripts — des scripts pour manipuler l'environnement.
  • Plugins — des middlewares qui modifient le comportement au sein de la boucle d'appel des outils.

Comment fonctionnent les deux niveaux de récursion

Le « deux » du nom renvoie à deux boucles. Au sein d'une même tâche tourne le cycle Propose-Probe-Compose (« proposer, sonder, composer »). L'agent résout d'abord la tâche avec le harnais de base, et cette exécution de référence est enregistrée : ce qui a été lu, les outils appelés inutilement, ce qui n'a pas été vérifié. Ensuite, un éditeur (par défaut Claude Opus 4.8, donc le modèle d'un concurrent) propose deux candidats : une correction générale visant les faiblesses récurrentes, et une correction spécifique au domaine, comme les procédures juridiques ou les tableaux. Chaque candidat est relancé sur la même tâche pour observer l'évolution du comportement. Le compositeur décide quelles modifications retenir et assemble la version finale.

Exemple tiré de JobBench : l'agent devait constituer un dossier de documents aux chiffres cohérents. La première exécution a obtenu 43,1 points : les nombres ne concordaient pas dans les fichiers, et les documents finaux n'ont jamais été réouverts. Les corrections ont ajouté un recoupement des sources et une vérification obligatoire du résultat, et le score est monté à 77,8. Il s'agit d'une seule tâche, qui ne prouve pas que la même correction fonctionnera partout.

La seconde boucle opère entre les tâches. Le composant reflector analyse l'ensemble du processus et ne conserve que les leçons confirmées par la comparaison des exécutions. Elles entrent dans la bibliothèque improvement harness, dans le fichier EXPERIENCE.md. La tâche suivante démarre avec le harnais de base, et seule l'expérience accumulée est transmise : elle indique à l'éditeur ce qu'il convient de proposer.

Ce que montrent les benchmarks

Les auteurs ont testé la méthode sur trois jeux de tâches :

  • WorkBuddy-Bench — tâches bureautiques, web et de programmation. Maximum : GLM-5 avec OpenCode, de 64,2 à 75,7 points (+11,5).
  • JobBench — longues tâches professionnelles, proches d'une journée de travail humaine. Gemini 3.5 Flash avec OpenCode : de 31,5 à 36,0 (+4,5).
  • LAB de Harvey — benchmark juridique où l'on mesure la part des critères remplis. GLM-5 : de 59,6 % à 71,4 % (+11,8 pts).

Le constat le plus utile sur le plan pratique : un exécutant plus faible tire davantage profit du réglage. Après une seule étape d'optimisation, GLM-5 obtient 75,7 (OpenCode) et 75,3 (Codex) sur WorkBuddy-Bench, tandis que Gemini 3.5 Flash avec un harnais standard atteint 72,4 et 74,5. Un modèle plus faible au harnais réglé devance ainsi un modèle plus fort au harnais standard.

L'automatisation ne garantit pas le succès pour autant. Le concurrent ReasoningBank recule jusqu'à 6,6 points sous le harnais de base sur les tâches de programmation, et Harness Scaling est moins bon que la base dans sept des douze couples « benchmark — configuration ». Harness² dépasse la base sur WorkBuddy-Bench et JobBench dans les quatre configurations.

Coût et limites

Chaque étape de la récursion représente des exécutions supplémentaires, donc des tokens et du temps. Passer d'un budget k=1 à k=5 apporte encore 2,9 à 3,9 points sur WorkBuddy-Bench, 3,0 à 4,2 sur JobBench et 2,6 à 6,7 pts sur LAB, avec un rendement décroissant. Par ailleurs, une modification du comportement ne signifie pas une amélioration : le système peut retenir une correction qui paraît meilleure, mais qui échouera sur la tâche suivante.

Il est possible d'essayer sans payer les modèles : une démo locale (Linux, Python 3.12, uv, commande harness2-demo --k 2) exécute les deux niveaux avec des éditeurs déterministes en une dizaine de minutes. Pour les benchmarks réels, il faut Vertex AI, gcloud, Node.js 20+ et Docker ou Pandoc avec Poppler, et les exécutions sont payantes. Il s'agit d'un cadre de recherche, et non d'un produit Google : l'API peut évoluer.

Conclusion pratique pour ceux qui construisent des agents : avant de payer le prix d'un modèle haut de gamme, mesurez ce que apporte un réglage systématique du harnais. Tous les chiffres proviennent du préprint des auteurs et n'ont pas encore été vérifiés de manière indépendante.

Dossier

Questions clés sur cet article

Que sait-on sur De quoi se compose le harnais ?

Le README du cadre distingue huit composants, et Harness² sait modifier chacun d'eux : System prompt — l'instruction de base : ce que l'agent lit en premier. Guardrails — les garde-fous : ce qu'il n'est pas autorisé à faire. Memory — ce qu'il retient d'une étape à l'autre. Tool guidance — l'usage des outils : quand consulter la documentation, et quand répondre directement. Subagents — la délégation : un agent découpe la tâche, d'autres en exécutent les parties.

Comment fonctionnent les deux niveaux de récursion?

Le « deux » du nom renvoie à deux boucles. Au sein d'une même tâche tourne le cycle Propose-Probe-Compose (« proposer, sonder, composer »). L'agent résout d'abord la tâche avec le harnais de base, et cette exécution de référence est enregistrée : ce qui a été lu, les outils appelés inutilement, ce qui n'a pas été vérifié.

Que sait-on sur Ce que montrent les benchmarks ?

Les auteurs ont testé la méthode sur trois jeux de tâches : WorkBuddy-Bench — tâches bureautiques, web et de programmation. Maximum : GLM-5 avec OpenCode, de 64,2 à 75,7 points (+11,5). JobBench — longues tâches professionnelles, proches d'une journée de travail humaine. Gemini 3.5 Flash avec OpenCode : de 31,5 à 36,0 (+4,5). LAB de Harvey — benchmark juridique où l'on mesure la part des critères remplis. GLM-5 : de 59,6 % à 71,4 % (+11,8 pts).

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…