Harness engineering : sortir les garanties des agents LLM des prompts pour les inscrire dans le code

Des chercheurs ont publié sur arXiv, le 10 juillet 2026, un preprint présentant un patron de harness engineering pour les agents LLM d'entreprise. Les garanties déterministes quittent les prompts pour passer dans le code et des artefacts de validation, ce qui permet de bâtir des systèmes auditables sans dégrader la qualité des réponses.

Ce qui cloche avec l'approche par prompts seuls

Les applications LLM d'entreprise naissent généralement comme des prototypes où le comportement est entièrement défini par les prompts et le contexte RAG. Le passage en production fait apparaître de nouvelles exigences : frontières de sources, routage des entités, contrats de réponse et traces reproductibles. Les prompts s'en acquittent de manière peu fiable.

Les auteurs ont mené une expérience de contrôle : à modèle inchangé, en ne remplaçant que la couche d'enforcement, les prompts laissaient les violations atteindre l'utilisateur, puisque ni le langage de recommandation inapproprié ni les fuites de traces internes n'étaient bloqués. Le harness a éliminé totalement les deux problèmes, sans réduire l'utilité du système.

Comment fonctionne le patron harness

L'idée centrale consiste à sortir le comportement déterministe des prompts pour le placer dans le code, des manifestes, des schémas et des artefacts de validation autour d'une « composition boundary » remplaçable. Les assertions issues des sources restent l'autorité pour les réponses au runtime, et c'est le code, non les instructions du prompt, qui vérifie tous les contrats. Cette architecture permet de changer de modèle sans reconstruire tout le système.

Le patron a été testé sur un extrait public de données de cinq groupes d'entreprises coréens (25 sociétés cotées). Principaux résultats :

• 5 conglomérats coréens, 25 entreprises cotées : le jeu de données de test
• 3 modèles hosted mobilisés dans l'expérience de changement de modèle
• 270/270 requêtes ont passé la vérification des contrats lors du changement de modèle
• 120/120 : utilité des réponses avec l'approche harness
• 88/120 : utilité avec un guardrail externe bolt-on, à sécurité égale

Un contrôle par fault-injection a confirmé le bon fonctionnement des validateurs : dans tous les scénarios, ils ont correctement signalé les contrats volontairement cassés.

En quoi le harness est-il meilleur que les guardrails externes ?

Un guardrail externe bolt-on prévient les violations aussi bien que le harness, mais au prix de refus excessifs. Avec le seul guardrail externe, le système a fourni 88 réponses utiles sur 120, alors que le harness a conservé 120/120.

«

Seul l'enforcement piloté par le code assure à la fois la sécurité et une utilité complète », résument les auteurs.

La différence de fond : le harness est intégré à l'architecture et comprend le contexte de la requête, donc il ne rejette pas de réponses légitimes. Le guardrail externe ne voit que la sortie finale et doit se montrer excessivement prudent, ce qui entraîne la perte de 27 % des réponses utiles.

Ce que cela signifie

Le harness engineering propose un patron réutilisable pour passer d'un prototype LLM à un système de production auditable. Les prompts ne garantissent pas le respect des contrats en environnement d'entreprise : il faut des artefacts de contrôle versionnés dans le code. Pour les équipes qui construisent des agents LLM d'entreprise, c'est un guide pratique : les garanties comportementales doivent vivre dans le code, pas dans les instructions.

Questions fréquentes

Sur quelles données le harness a-t-il été testé ?

Les auteurs ont utilisé un extrait public de données de cinq grands groupes d'entreprises coréens, regroupant 25 sociétés cotées. Les tests ont porté sur 270 requêtes à travers la composition boundary, sur trois modèles hosted différents.

En quoi le harness diffère-t-il d'un guardrail bolt-on ?

Le guardrail bolt-on atteint le même niveau de sécurité, mais génère des refus excessifs : 88 réponses utiles sur 120 contre 120/120 pour le harness. Le harness est intégré à l'architecture et comprend le contexte de la requête, donc il ne sacrifie pas la qualité à la sécurité.