Surge : Opus en xhigh gagne 11,3 points, contre 3 au maximum pour des surcouches comme Superpowers

Ces derniers mois, les fils d’actualité se sont remplis de surcouches pour agents de programmation : skills, plugins et orchestres composés de dizaines de sous-agents. Cela paraît robuste, mais est-ce réellement utile ? L’équipe de Surge l’a vérifié à l’aide d’un benchmark et a obtenu un résultat qui risque de déplaire à beaucoup : la mise à niveau la plus efficace était aussi la plus ennuyeuse.

Comment le test a été mené

Sur Claude Code, les chercheurs ont utilisé Opus 5.5 et lui ont confié 100 tâches d’ingénierie réelles issues du benchmark sudo L7. Celui-ci ne vérifie pas seulement si « les tests passent », mais évalue aussi le jugement technique attendu d’un staff engineer : l’agent a-t-il trouvé la cause racine, vérifié les scénarios adjacents et évité de casser autre chose à proximité ?

La comparaison portait sur Claude Code sans extension, Superpowers, qui compte plus de 311K étoiles sur GitHub, Compound Engineering, avec plus de 25K étoiles, ainsi que les plugins intégrés /goal et /code-review. La référence était Opus seul avec le niveau medium.

Les résultats

• Superpowers : +2,4 points pour un coût équivalant à environ 1,1 fois celui de la référence.
• /goal + /code-review : +3,3 points pour un coût multiplié par 1,8.
• Compound Engineering : coût multiplié par environ 8 et gain statistiquement imperceptible.
• Opus en xhigh sans aucune extension : +11,3 points pour un coût multiplié par 3,5.

C’est sur la vérification et la rigueur que xhigh a le plus progressé (+14,9), ainsi que sur la persévérance (+9,8). Autrement dit, le modèle n’est pas devenu « plus intelligent » : il a simplement cessé de s’arrêter au premier correctif plausible.

Un exemple tiré du rapport

Un éditeur vidéo plante lorsqu’il n’y a pas de premier clip. En medium, l’agent corrige l’endroit évident, annonce son succès et obtient 14 sur 100 pour 0,12 $. En xhigh, il remarque que le correctif redirige l’exécution vers un mécanisme de fallback où la présence du clip est également présupposée, trouve un second bug et obtient 100 sur 100 pour 0,41 $. L’écart de prix est minime, celui de qualité est immense.

Le cas de la tâche consistant à « ajouter un lien Zoom et un code d’accès à l’e-mail de confirmation » est encore plus parlant. L’une des solutions, sans que les auteurs précisent laquelle, a activé 37 skills supplémentaires et lancé 17 agents : cinq pour examiner le plan, cinq pour le simplifier et sept pour effectuer une revue de code. Aucun n’a relevé le point essentiel : l’e-mail est envoyé avant le paiement, ce qui signifie que les personnes qui n’ont pas payé recevront elles aussi le code d’accès. Multiplier les agents ne multiplie pas l’attention : ils observent tous la même tâche de la même manière.

Que faire en pratique

1. Avant d’installer un nouveau framework, augmentez le niveau d’effort. C’est un réglage, pas une nouvelle dépendance.
2. Calculez le coût par tâche résolue, et non par exécution. Un xhigh plus cher revient souvent moins cher que plusieurs itérations assorties de corrections.
3. Si vous utilisez des skills, mesurez leur contribution sur vos propres tâches. Le nombre d’étoiles sur GitHub n’est pas un indicateur de qualité.
4. Pour les zones critiques, notamment les paiements et les accès, ne vous fiez pas aux revues effectuées par des agents. La logique métier mérite une vérification humaine.

Limites

Il ne s’agit que d’un benchmark, d’un modèle et d’un environnement d’exécution. Les tâches ont été sélectionnées par le fournisseur, et les différences entre configurations sur de petits échantillons peuvent n’être que du bruit. L’orchestration pourrait se montrer plus efficace avec d’autres modèles ou sur de longs projets comportant de nombreuses étapes. De plus, xhigh coûte 3,5 fois plus cher, ce qui peut être excessif pour des modifications courantes.

La direction à suivre est néanmoins claire : commencez par le levier le plus simple. Si le modèle se trompe parce qu’il se précipite, ajouter des agents ne résoudra pas le problème ; cela ne fera qu’alourdir la facture tout en donnant une impression de contrôle.