Google publie Harness² : l'agent réécrit ses prompts et ses scripts, jusqu'à +11,8 pp sur les critères LAB
Google Research publie Harness² : l'agent réécrit son « harnais » autour du modèle — prompts, outils, scripts — sans modifier les poids. Comme un stagiaire qui corrige sa propre consigne après des erreurs, l'agent relance la tâche avec différentes modifications et conserve celles qui aident. Dans le test juridique LAB, la part de critères validés augmente de 11,8 pp au maximum (par exemple de 50 % à 61,8 %). Pour les équipes qui utilisent des modèles via API, c'est une voie pour améliorer leurs agents sans fine-tuning, mais les chiffres ne viennent pour l'instant que de Google.
Traité par IA depuis KDnuggets ; édité par Hamidun News
Imaginez un agent qui analyse des fichiers comptables, alors qu'un bug se cache discrètement dans son script auxiliaire : il ignore les montants négatifs. D'ordinaire, c'est un ingénieur qui repère le total erroné, corrige le script ou le prompt, puis relance le traitement. Google Research a publié en open source le framework Harness², qui automatise ce cycle. Il ne réécrit pas le modèle lui-même, mais tout ce qui l'entoure : instructions, outils, mémoire et scripts. Google mesure les résultats en « points de pourcentage » (pp) : si un agent validait 50 % des critères d'un test et en valide 61,8 %, le gain est de 11,8 pp. C'est précisément le maximum obtenu sur le test juridique LAB.
Qu'est-ce que le « harnais » et que modifie Harness² ?
Un modèle de langage n'est pas, à lui seul, un agent. Ce qui en fait un agent, c'est le « harnais » : instructions système, règles du type « autorisé / interdit », notes à long terme, ensembles de compétences pour les tâches types, descriptions de l'usage des outils, scripts auxiliaires, sous-agents et plugins intermédiaires. Aujourd'hui, la plupart des équipes configurent tout cela à la main. Pour les tâches prévues à l'avance, l'approche fonctionne. Mais lorsque l'agent rencontre l'imprévu, le réglage manuel ne suit pas.
Harness² automatise cette configuration, les poids du modèle restant figés. Il n'y a ni fine-tuning ni nouvelles données d'entraînement. L'approche convient donc aux équipes qui ne travaillent avec le modèle que via API : elles n'ont besoin ni de GPU ni d'accès aux poids.
Deux boucles : comment l'agent apprend de ses propres exécutions
Le « carré » du nom désigne deux niveaux de récursion. La première boucle opère au sein d'une même tâche, selon le schéma « proposer — vérifier — consolider ». Un éditeur de harnais propose des modifications, générales et spécifiques au domaine. L'agent résout de nouveau la même tâche avec chaque variante de harnais. Puis un « compositeur » compare les exécutions et fusionne les modifications qui ont aidé. Aucune réponse de référence n'est nécessaire : il suffit de l'écart entre deux exécutions d'une même tâche. En pratique, personne ne fournit à l'agent une clé de réponses, ce qui est une propriété importante.
La seconde boucle opère entre les tâches. Le harnais retenu et les « leçons » confirmées rejoignent une bibliothèque d'expérience permanente, et la tâche suivante démarre avec ces notes. La première boucle améliore l'agent pour la tâche en cours, la seconde améliore le processus d'amélioration lui-même.
Le budget est fixé par le paramètre k. En mode parallèle, le système propose k modifications générales et k modifications spécifiques, et les teste toutes : il explore plus largement. En mode séquentiel, il effectue k étapes à la suite et reporte le harnais affiné à l'étape suivante : il creuse plus profondément. Chaque tâche coûte 4k exécutions d'agent et 3k sessions d'amélioration, soit, pour k=3, 12 exécutions et 9 sessions. Le seul jeu de tâches LAB en compte 1143, donc un passage complet n'est pas bon marché.
Chiffres et démo
Google a testé GLM-5 et Gemini 3.5 Flash dans quatre couples « modèle — harnais » sur trois benchmarks. Une seule étape d'amélioration a fait progresser les résultats des deux modèles par rapport au harnais initial. Le gain maximal sur LAB atteint 11,8 pp de part de critères validés. Il s'agit de meilleurs résultats, non de moyennes, et ils proviennent de Google elle-même : des vérifications indépendantes restent donc à venir. Les tableaux détaillés de chaque configuration figurent dans le dépôt.
La démo se lance localement en quelques secondes et ne nécessite aucune clé. Il faut le gestionnaire de paquets uv et Python 3.12. Le script initial additionne les écritures d'un grand livre, mais filtre les montants négatifs. Sur un fichier test de trois écritures, il affiche 105,25. Une fois passé par Harness², le filtre est supprimé et le script calcule le résultat exact, 85,15 (100,25 − 20,10 + 5,00). Personne n'a communiqué au système la bonne somme. Dans le fichier d'expérience subsiste une note : lors de la somme des crédits et des débits, il faut tenir compte des deux signes, avec une confiance élevée. Cette entrée a été reprise dans la deuxième tâche de la démo.
Toutes les modifications sont stockées dans des fichiers ordinaires : prompt réécrit, script corrigé, nouvelle règle. On peut les lire, les comparer à la version initiale et les valider par une revue de code. Le framework enregistre même la raison pour laquelle il a accepté chaque modification.
Une exécution réelle est plus complexe et coûte de l'argent. Il faut un projet Google Cloud avec Vertex AI, ainsi que Pandoc et Poppler pour les documents LAB. Le fichier .env de configuration doit être créé à la main : il n'est pas présent dans le dépôt au moment de la publication. L'exécutant, l'améliorateur et le juge se configurent avec des identifiants de modèles distincts. L'auteur de l'analyse conseille de commencer par une seule tâche afin que les appels payants ne s'accumulent pas.
En pratique : si vous disposez d'un agent reposant sur un modèle tiers et que le réglage manuel des prompts vous lasse, Harness² offre une méthode reproductible pour l'automatiser. Commencez par la démo gratuite, puis comparez le harnais initial et le harnais amélioré sur une de vos propres tâches, et évaluez si le coût des exécutions est rentable.
- 21 nov. 2026La capitaine d'une équipe de nageurs a confié trois tâches planifiées à ChatGPT et divisé sa charge de travail par plusieurs
- 21 nov. 2026Le réseau de neurones MIRA génère Rocket League à 20 images par seconde, mais le ping grimpe jusqu'à 460 ms
- 21 nov. 2026Google a construit une copie fermée d'internet avec de fausses banques pour entraîner les agents IA de Chrome
- 21 nov. 2026MLPerf Training v6.1 : Nvidia Rubin et TPU Ironwood font leurs débuts, 153 systèmes au test
Questions clés sur cet article
Qu'est-ce que le « harnais » et que modifie Harness² ?
Un modèle de langage n'est pas, à lui seul, un agent. Ce qui en fait un agent, c'est le « harnais » : instructions système, règles du type « autorisé / interdit », notes à long terme, ensembles de compétences pour les tâches types, descriptions de l'usage des outils, scripts auxiliaires, sous-agents et plugins intermédiaires. Aujourd'hui, la plupart des équipes configurent tout cela à la main. Pour les tâches prévues à l'avance, l'approche fonctionne.
Que sait-on sur Deux boucles : comment l'agent apprend de ses propres exécutions ?
Le « carré » du nom désigne deux niveaux de récursion. La première boucle opère au sein d'une même tâche, selon le schéma « proposer — vérifier — consolider ». Un éditeur de harnais propose des modifications, générales et spécifiques au domaine. L'agent résout de nouveau la même tâche avec chaque variante de harnais. Puis un « compositeur » compare les exécutions et fusionne les modifications qui ont aidé. Aucune réponse de référence n'est nécessaire : il suffit de l'écart entre deux exécutions d'une même tâche.
Que sait-on sur Chiffres et démo ?
Google a testé GLM-5 et Gemini 3.5 Flash dans quatre couples « modèle — harnais » sur trois benchmarks. Une seule étape d'amélioration a fait progresser les résultats des deux modèles par rapport au harnais initial. Le gain maximal sur LAB atteint 11,8 pp de part de critères validés. Il s'agit de meilleurs résultats, non de moyennes, et ils proviennent de Google elle-même : des vérifications indépendantes restent donc à venir. Les tableaux détaillés de chaque configuration figurent dans le dépôt.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.