OpenAI découvre des erreurs critiques dans SWE-Bench Pro, un benchmark très utilisé

OpenAI a passé au crible SWE-Bench Pro, une suite de tests très utilisée pour évaluer les compétences en programmation des modèles d'IA, et y a relevé des problèmes critiques : environ 30% des tâches contiennent des erreurs. L'entreprise a donc retiré son soutien à ce benchmark et ne le recommande plus.

Qu'est-ce que SWE-Bench Pro

SWE-Bench Pro (Software Engineering Benchmark Pro) est une suite de tests standardisée, conçue pour mesurer objectivement la capacité des modèles d'IA à résoudre des problèmes de programmation réels. Chercheurs, entreprises et évaluateurs indépendants l'utilisent largement : c'est l'un des principaux outils pour comparer les performances des modèles de code.

Les tâches de SWE-Bench Pro reposent sur de vrais cas issus de GitHub. Elles n'exigent pas seulement d'écrire du code : le modèle doit aussi comprendre des systèmes logiciels complexes, corriger des bugs et gérer des scénarios non triviaux. Cette proximité avec le terrain et l'objectivité de sa notation ont valu au test une large popularité dans la communauté IA, au point d'en faire le standard de facto pour comparer publiquement les modèles.

30% des tâches contiennent des erreurs ou des défauts

L'analyse menée par OpenAI a mis au jour de sérieux problèmes dans environ 30% des tâches de SWE-Bench Pro. Ces erreurs vont de cas de test incorrects à des énoncés mal formulés, en passant par des solutions de référence insuffisamment correctes. Elles rendent les résultats obtenus sur ces tâches peu fiables et faussent l'évaluation des capacités réelles des modèles.

Découvrir des problèmes d'une telle ampleur dans un benchmark aussi populaire et réputé porte un coup sérieux à la fiabilité de cet outil d'évaluation. Si 30% de l'ensemble des tâches représentent environ 90 tests erronés ou plus, le volume de données compromises est considérable. OpenAI, qui avait auparavant approuvé et publiquement recommandé SWE-Bench Pro comme test fiable pour comparer les modèles, lui retire désormais officiellement son soutien. Conséquence : les résultats obtenus sur ce benchmark, largement cités dans des articles scientifiques, des blogs et des comparatifs, doivent être interprétés avec une grande prudence.

Pourquoi c'est fondamental

Des tests fiables et impartiaux sont la base d'une évaluation honnête des capacités des modèles d'IA. Lorsqu'un benchmark contient des erreurs systématiques, les résultats ne sont plus comparables, et entreprises comme chercheurs risquent de tirer de mauvaises conclusions sur le modèle réellement le plus performant.

Cet incident rappelle que même les tests populaires et largement utilisés doivent faire l'objet de vérifications, de validations et de mises à jour constantes. Les entreprises et les chercheurs qui se sont appuyés sur les résultats de SWE-Bench Pro pour choisir des modèles ou évaluer leurs systèmes doivent réexaminer leurs conclusions et interpréter ces données avec davantage de prudence.

• Environ 30% des tâches de SWE-Bench Pro contiennent des erreurs ou des défauts
• OpenAI a retiré son soutien officiel au benchmark et ne le recommande plus
• Le test était largement utilisé par les chercheurs et les entreprises pour comparer les modèles de code

Ce que cela signifie

Les problèmes relevés dans SWE-Bench Pro illustrent un défi fondamental de l'évaluation des capacités de l'IA : concevoir des tests réellement représentatifs, impartiaux et exempts d'erreurs est extrêmement difficile et demande des efforts considérables. La communauté doit collaborer étroitement pour développer des méthodes d'évaluation plus fiables, capables de refléter les capacités réelles des modèles sans artefacts ni erreurs dans les tests eux-mêmes.

Cette affaire pourrait entraîner un réexamen et une réévaluation des résultats comparatifs de différents modèles d'IA publiés jusqu'ici sur la base de SWE-Bench Pro. Concevoir des benchmarks améliorés pour évaluer les compétences en programmation des systèmes d'IA, puis les faire vérifier de manière indépendante, exigera d'importants efforts supplémentaires.