Étude : surapprentissage et compute superflu absorbent 68% du gain de l'évolution de harnais

Lorsqu'une équipe fait évoluer automatiquement un harnais (harness) autour d'un LLM gelé, ses métriques progressent sans la moindre mise à jour des poids. Un nouveau travail publié sur Hugging Face Daily Papers vérifie quelle part de cette progression est réelle. Les auteurs introduisent le protocole Harness-Delta Attribution (HDA) et l'appliquent à 11 modèles exécutants et à trois frameworks d'évolution de harnais. Le résultat est peu flatteur : sur 21 configurations présentant un gain statistiquement significatif sur l'échantillon de recherche, 54% du gain en moyenne s'expliquent par un surapprentissage aux artefacts du benchmark, et 14% de plus par le budget de calcul supplémentaire à l'inférence.

Ce que décompose exactement HDA

Le harnais, c'est tout ce qui entoure le modèle : prompts système, descriptions de compétences, jeu d'outils et code d'orchestration. Les frameworks évolutionnaires réécrivent ces composants de façon itérative et retiennent les versions qui obtiennent les meilleurs résultats sur le search set. Les poids du modèle restant fixes, cette approche passe pour une alternative bon marché au fine-tuning.

Le problème est qu'un chiffre final du type « on est passé de 40 à 52 » mélange plusieurs effets. HDA répartit le gain en trois parts :

• le surapprentissage, c'est-à-dire le gain tiré des artefacts de l'échantillon de recherche concerné ;
• l'effet de test-time scaling, lorsque le harnais évolué se contente de dépenser plus de tokens, de tentatives ou d'étapes ;
• le résidu, que les auteurs interprètent comme une borne supérieure de l'amélioration généralisable.

Le résidu ne prouve pas que l'amélioration se transfère. C'est le maximum de ce qui pourrait subsister une fois les deux premières composantes soustraites.

Les chiffres sur 21 configurations

Les expériences couvrent les mathématiques, le code, ainsi que des tâches créatives et des tâches d'agents. Seuls ont été retenus les cas où le gain sur l'échantillon de recherche est statistiquement significatif. Il y en a 21.

• Moyenne sur ces cas : le surapprentissage explique 54% du gain, le test-time scaling 14%.
• Dans 14 des 21 configurations, la part cumulée des deux facteurs dépasse 50%.
• En additionnant les moyennes, le résidu représente environ un tiers du gain initial. Il s'agit d'une moyenne, pas d'une garantie pour une configuration donnée.
• La taille du résidu et le transfert vers les tâches mises de côté dépendent fortement du type de tâche, du modèle et du framework.

Une conclusion distincte concerne la validation. Les signaux fondés sur un échantillon de validation n'empêchent pas le surapprentissage. Une équipe qui arrête l'évolution au meilleur score de validation peut tout de même se retrouver avec un harnais ajusté à son propre benchmark. Par ailleurs, les gains sur le search set ne se transfèrent souvent pas aux tâches mises de côté. Il existe peu de données indiquant qu'ils résisteraient à un décalage de distribution en conditions réelles.

Comment évaluer l'évolution de harnais en pratique

Pour les équipes qui construisent des agents, la leçon est terre à terre. Un rapport annonçant « le harnais a apporté +12 points » sans décomposition ne dit pas grand-chose en soi. Il faut vérifier au minimum trois choses. Première : comment le résultat se comporte sur des tâches réellement mises de côté, qui n'ont participé ni à la recherche ni au choix du checkpoint. Deuxième : combien de calcul le nouveau harnais dépense par tâche, et ce que donnerait la version de base avec le même budget. Troisième : la robustesse du résultat lorsque la distribution des tâches change légèrement, par exemple les formulations, les domaines ou les outils.

Pour les chercheurs qui conçoivent des frameworks d'évolution, ce travail relève la barre : une comparaison sur une seule métrique du search set ne paraît plus suffisante. L'attribution du gain devient une composante de la méthodologie, au même titre que les ablations en machine learning classique.

Les limites existent aussi. Le résidu dans HDA est une borne supérieure, et non une capacité de généralisation mesurée, et les conclusions reposent sur 21 configurations. Mais la direction est claire. Tant que l'évaluation ne distingue pas l'amélioration réelle d'un agent de l'ajustement au benchmark et du compute supplémentaire, il vaut mieux accueillir les affirmations selon lesquelles un harnais peut être amélioré automatiquement sans mise à jour des poids en retranchant environ deux tiers du gain.