OpenAI abandonne le principal benchmark de code et rebat les cartes

Quand une entreprise dont les modèles occupaient régulièrement le haut d'un classement s'en détourne publiquement, ce n'est pas qu'une décision d'entreprise. C'est le signe d'un problème systémique. OpenAI a annoncé qu'elle cessait d'évaluer ses modèles sur SWE-bench Verified, le benchmark qui servait depuis deux ans de principal étalon pour juger la capacité de l'IA à écrire et corriger du code réel. La raison est à la fois simple et inquiétante : le benchmark ne mesure plus ce qu'il est censé mesurer.

SWE-bench est né comme une tentative ambitieuse de dépasser les tests synthétiques. Au lieu de demander au modèle de résoudre un problème abstrait de type LeetCode, il proposait de vrais rapports de bugs issus de projets Python open source populaires, comme Django, scikit-learn ou sympy. Le modèle devait comprendre la description du bug, trouver le bon fichier dans le dépôt et écrire un correctif qui passe les tests. La version Verified est arrivée plus tard, sous forme de variante nettoyée, avec des tâches vérifiées manuellement par des humains. Les laboratoires s'y affrontaient, publiant fièrement le pourcentage de tâches résolues dans chaque communiqué de presse.

Mais derrière la façade de chiffres flatteurs, les problèmes s'accumulaient. L'analyse interne d'OpenAI a mis au jour deux failles critiques. La première est la contamination des données d'entraînement.

Les tâches de SWE-bench Verified reposent sur des pull requests publiques de dépôts ouverts. Ces données finissent inévitablement dans les corpus d'entraînement des grands modèles de langage. Autrement dit, les modèles ont pu voir les bonnes réponses avant même d'être testés.

C'est le problème classique de la fuite de données, mais avec SWE-bench, il a pris une ampleur qui rend les résultats statistiquement dénués de sens. Le second problème tient à la qualité des tests eux-mêmes. Certaines tâches comportaient des tests incorrects ou incomplets, susceptibles de laisser passer de mauvaises solutions ou de rejeter les bonnes.

Quand un benchmark devient assez populaire, on se met à l'optimiser, et pas toujours par des moyens honnêtes.

Il faut comprendre le contexte de cette décision. Le secteur de la programmation par IA connaît une croissance explosive. Des dizaines de startups, de Cognition avec son Devin à Poolside et Magic, lèvent des centaines de millions de dollars, et presque toutes s'appuient sur les résultats de SWE-bench comme principal argument dans leurs présentations aux investisseurs. Les grands laboratoires, dont Anthropic, Google DeepMind et OpenAI elle-même, publient leurs résultats sur ce benchmark à chaque lancement de modèle. SWE-bench Verified est devenu, dans les faits, la monnaie de la confiance dans la programmation par IA. Et OpenAI affirme aujourd'hui que cette monnaie s'est dévaluée.

L'entreprise recommande de passer à SWE-bench Pro, une version actualisée du benchmark qui, selon ses concepteurs, règle les deux problèmes. Les nouvelles tâches sont choisies pour limiter au maximum le recoupement avec les données d'entraînement publiques, et les tests font l'objet d'une vérification plus stricte. Une question légitime se pose toutefois : combien de temps SWE-bench Pro restera-t-il propre ? L'histoire des benchmarks en apprentissage automatique est celle de leur dégradation progressive. ImageNet, GLUE, SuperGLUE, MMLU : tous ont fini par ne plus distinguer les modèles réellement puissants de ceux simplement bien entraînés pour ce test précis.

Pour l'industrie, les conséquences dépassent largement un seul benchmark. Les investisseurs qui financent des startups de programmation par IA doivent désormais se demander ce qui se cache réellement derrière les chiffres impressionnants qu'on leur a présentés. Les entreprises qui intègrent des assistants IA dans leurs processus de développement sont contraintes de revoir leurs critères de choix. Et les chercheurs reçoivent un rappel de plus : dans la course au sommet des benchmarks, le lien avec l'utilité réelle se perd.

Il y a aussi une question plus profonde. Si le principal laboratoire d'IA du monde reconnaît que l'outil standard de mesure du progrès est cassé, comment savoir si les modèles s'améliorent vraiment ? Dans un monde où un nouveau modèle « révolutionnaire » aux scores records sort chaque trimestre, l'absence d'une règle fiable n'est pas un détail technique mais un problème fondamental.

OpenAI mérite le respect pour l'honnêteté de cet aveu. Mais le fait que l'industrie se soit appuyée si longtemps sur un benchmark contaminé révèle un déficit systémique d'esprit critique dans la communauté. Le passage à SWE-bench Pro va dans la bonne direction.

Mais le vrai progrès commencera quand on cessera de réduire l'évaluation de l'IA à un seul chiffre sur un seul test, et qu'on construira des systèmes d'évaluation multidimensionnels, résistants à la manipulation, qui reflètent la capacité réelle des modèles à aider les développeurs dans leur travail quotidien.