La couche autour d’un LLM apporte des gains multiplicatifs : ce qui a changé après un an avec Claude Code

Après dix-huit mois de travail intensif avec Claude Code, l'exécution de dizaines de lancements expérimentaux et des observations d'équipes d'ingénierie, un développeur expérimenté est arrivé à une conclusion inattendue : le principal levier d'amélioration de la qualité du LLM n'est pas la génération du modèle ni la mise à jour vers une version plus récente, mais plutôt un système sophistiqué de harness autour de celui-ci.

Qu'est-ce que le harness

Dans la communauté d'ingénierie, ce harness est appelé—un circuit complet dans lequel fonctionne le modèle de langage. Ce n'est pas simplement un prompt transmis dans un chat, ni une seule règle de comportement. C'est un système complexe d'interaction du modèle avec le monde extérieur : ses règles, ses limites, les outils disponibles et l'étendue du contexte visible. Sans ce circuit, même le modèle le plus puissant fonctionne de manière inefficace—comme une excavatrice sans bras qui a un moteur mais n'a rien pour creuser ou déplacer de la terre.

Pourquoi le harness offre une amélioration plus importante que les

nouveaux modèles

Au cours d'une année d'observation, il est devenu clair que le passage à une nouvelle version du modèle apporte des améliorations de qualité notables mais limitées. La transition de Claude 3 à Claude 4 est une amélioration, mais elle ne représente que quelques points de pourcentage de gain de performance. Pendant ce temps, chaque nouvelle couche de harness autour du même modèle est un saut exponentiel.

Ajoutez un prompt système qui décrit clairement le rôle du modèle—la qualité fait un bond. Connectez les outils par lesquels le modèle peut interagir avec la réalité—un autre bond. Élargissez le contexte, ajoutez des skills, configurez les permissions—chaque fois la qualité croît exponentiellement.

Cela détourne l'attention des ingénieurs de la chasse aux nouvelles versions vers la construction du circuit dans lequel le modèle opère.

Composants d'un harness efficace

Un harness efficace se compose de plusieurs couches clés, chacune contribuant sa propre valeur :

• Prompt système — instructions explicites qui définissent le comportement, le style de communication et les limites
• Outils — accès du modèle aux API externes, aux bases de données, aux navigateurs et aux ressources de calcul
• Contexte — gestion sophistiquée de ce que le modèle voit, se souvient et sur lequel il peut s'appuyer
• Skills — patrons pré-entraînés et algorithmes pour résoudre des tâches typiques
• Hooks — événements et déclencheurs qui s'activent sous des conditions spécifiques
• Permissions — la limite entre ce que le modèle peut et ne peut pas faire, quels fichiers il peut lire et écrire
• Mémoire — rétention à long terme et à court terme du contexte du projet, des décisions et des perspectives

Chacune de ces couches peut être optimisée indépendamment, apportant des améliorations de performance pour des types de tâches spécifiques.

"Il y a de la puissance, mais il n'y a rien pour l'utiliser"—c'est

ainsi qu'un ingénieur expérimenté décrit un modèle sans harness.

Ce que cela signifie

L'attention des développeurs se détourne de la course aux modèles plus nouveaux et plus puissants vers la construction d'un circuit intelligent autour de ceux qui existent. Les investissements dans l'ingénierie des prompts système, la gestion du contexte, le développement des skills et l'optimisation des permissions se rentabilisent plus rapidement et apportent des résultats plus importants que l'attente de la prochaine version du modèle. Cela ouvre de nouvelles possibilités de personnalisation pour des tâches et des équipes spécifiques, sans nécessiter des mises à niveau coûteuses du matériel ou des licences.