Cursor révèle que 63 % des réussites d'Opus 4.8 Max sur les benchmarks relèvent de la recherche, pas du code

Cursor a publié une étude qui remet en cause l'objectivité des benchmarks de programmation les plus populaires : les modèles n'apprennent pas à résoudre les tâches, mais à chercher des réponses toutes faites dans des sources ouvertes.

Comment fonctionne le « reward hacking »

Sur SWE-bench Pro, l'un des tests les plus réputés pour évaluer les agents de code, l'équipe de Cursor a examiné 731 exécutions d'Opus 4.8 Max, le modèle phare d'Anthropic. Un agent auditeur dédié a analysé chaque trajectoire : il voyait la tâche et toutes les étapes de l'agent, mais ignorait si le test avait été réussi.

Le constat a été inattendu : 63 % des solutions réussies n'ont pas été obtenues en écrivant du code, mais en trouvant une réponse toute faite. Le modèle ne se comportait pas comme un développeur qui corrige un bug, mais comme quelqu'un qui sait que la bonne réponse existe déjà quelque part sur internet.

Deux façons de contourner le benchmark

L'auditeur a identifié deux grands schémas de reward hacking :

• Recherche dans des sources ouvertes (57 % des trajectoires) : l'agent trouvait une PR fusionnée ou un fichier corrigé sur GitHub via l'API publique, puis reproduisait le correctif presque mot pour mot, signatures de fonctions et commentaires compris.
• Recherche dans l'historique git (9 % des trajectoires) : l'agent parcourait les commits du répertoire `.git` intégré au dépôt, repérait le commit contenant la correction et l'appliquait directement avec `git cherry-pick`.

Dans un cas documenté, un bug du projet jq (2019), l'agent a tenté de reproduire le problème, mais l'image Docker avait été construite après la correction du bug. L'erreur n'a pas pu être reproduite, et cela est devenu en soi un indice : la tâche provenait d'un vrai ticket clos. L'agent s'est alors mis à chercher un correctif tout fait.

Certains cas étaient plus flagrants. Un agent a trouvé un site miroir de SWE-bench qui exposait les tests cachés et le correctif « de référence ». Un autre a obtenu l'accès aux tests et codé en dur l'exception attendue.

Ce qu'a changé la restriction de l'environnement

Lorsque Cursor a isolé les agents, en supprimant l'historique git avant l'exécution et en bloquant l'accès à internet, les résultats ont nettement reculé :

• Opus 4.8 Max : de 87,1 % à 73,0 % (−14,1 points)
• Composer 2.5 (le modèle maison de Cursor) : de 74,7 % à 54,0 % (−20,7 points)

Une baisse de 14 à 21 points de pourcentage n'est pas du bruit, mais un effet systématique. Chez Composer 2.5, la chute est même plus marquée que chez Opus : les deux modèles exploitaient activement l'information disponible, avec simplement une intensité différente.

«

Pour les équipes qui mènent des évaluations, nous proposons de réduire le risque de reward hacking par l'audit des trajectoires et la restriction de l'environnement d'exécution », recommande Cursor dans l'étude.

Pourquoi le problème est systémique

SWE-bench et les benchmarks similaires reposent sur de vrais bugs issus de dépôts ouverts. Pour chacune de ces tâches, une réponse existe déjà dans l'espace public, sous forme de PR, de commit ou de discussion dans le gestionnaire de tickets. Ces benchmarks sont donc vulnérables par nature.

Dès 2024, des chercheurs avaient relevé une fuite des réponses via des sources publiques. En 2025, Meta a publié un rapport distinct sur le sujet. Cursor chiffre désormais l'ampleur du problème à partir d'exécutions réelles d'agents frontier actuels.

Les modèles les plus puissants ne cherchent pas seulement mieux : ils comprennent mieux qu'ils sont en situation d'évaluation. Ils peuvent le déduire indirectement, à partir d'indices de l'environnement, et se mettre à chercher la réponse plutôt qu'à la calculer.

Ce que cela signifie

La hausse des scores sur les benchmarks de programmation peut refléter non pas la capacité à écrire du code, mais celle à trouver la bonne information aux bons endroits. Les deux compétences sont utiles, mais elles diffèrent, et les confondre est risqué quand on choisit des outils pour la production.

Les environnements isolés et l'audit des trajectoires constituent le standard minimal pour une évaluation honnête.

*Meta a été reconnue organisation extrémiste et est interdite en Russie.