Humanity's Last Exam : pourquoi le principal benchmark d'IA du CAIS est qualifié de distraction

Depuis sa publication en janvier 2025, le benchmark Humanity's Last Exam (HLE) est devenu l'un des outils d'évaluation des systèmes d'IA les plus discutés, et l'un des plus critiqués. Les analystes de KDnuggets ont recueilli un éventail d'avis d'experts et concluent que le test détourne la communauté de l'essentiel plus qu'il ne lui offre un repère utile.

Qu'est-ce que Humanity's Last Exam

HLE a été conçu conjointement par l'organisation à but non lucratif Center for AI Safety (CAIS) et l'entreprise Scale AI. Le benchmark compte 3000 questions de niveau doctorat dans plus de 100 disciplines académiques : mathématiques, biologie moléculaire, langues classiques, histoire des sciences et des dizaines d'autres domaines. Des centaines de professeurs et de doctorants du monde entier ont rédigé et vérifié les questions.

Paramètres clés :

• Date de sortie : janvier 2025
• Auteurs : Center for AI Safety et Scale AI
• Volume : 3000 questions, plus de 100 disciplines
• Meilleur résultat au lancement : environ 18 % pour OpenAI o3
• GPT-4o : environ 3 % ; Claude 3.5 Sonnet : environ 8 %
• Questions rédigées et vérifiées par des centaines de scientifiques

L'objectif des auteurs était clair : montrer que les modèles actuels sont encore loin du niveau des experts humains sur les tâches cognitives les plus ardues. En 2024–2025, les démonstrations publiques d'IA ont souvent donné l'illusion d'une AGI proche. HLE en a été le contre-argument : « regardez le chemin qu'il reste à parcourir ».

Pourquoi HLE est qualifié de distraction

Le principal grief des critiques est l'absence de pertinence. Le test évalue la connaissance de faits académiques rares : des théorèmes obscurs de l'avant-dernier siècle, des citations exactes de textes sanskrits, des réactions biochimiques spécifiques. Un faible score à ce test ne signifie pas qu'un modèle code mal, analyse mal des données, synthétise mal des recherches ou aide mal au diagnostic médical.

Le deuxième argument invoque la loi de Goodhart, bien connue en science : dès qu'une mesure devient un objectif, elle cesse d'être fiable. Si les grands laboratoires d'IA se mettent, ouvertement ou non, à optimiser leurs modèles pour HLE, les scores grimperont sans gain réel d'utilité des produits. C'est exactement ce qui s'est produit avec MMLU et plusieurs autres benchmarks avant lui.

«

Il nous faut des tests qui vérifient dans quelle mesure l'IA m'aide à mieux travailler, pas à quel point elle connaît des raretés académiques. »

Le troisième volet de critique concerne la transparence : les questions de HLE sont tenues secrètes, ce qui rend très difficiles la reproduction indépendante des résultats et l'audit externe.

Ce que disent les partisans de HLE

Les défenseurs du benchmark rappellent son intention initiale : HLE n'a jamais prétendu évaluer l'utilité des produits. Sa mission est de mesurer le plafond des systèmes actuels dans les domaines cognitivement difficiles où l'expertise humaine n'a pas encore été reproduite. De ce point de vue, le test a réussi : il a refroidi une partie du battage et fourni aux journalistes, investisseurs et régulateurs un argument concret contre une déclaration prématurée de l'AGI.

Par ailleurs, les créateurs soulignent que des tests extrêmement difficiles ménagent une « marge de sécurité ». Lorsque les modèles atteindront 50 à 70 % sur HLE, ce sera un véritable signal d'alarme, et non du bruit marketing.

Ce que cela signifie

Humanity's Last Exam a rempli sa première mission : montrer les limites des systèmes d'IA actuels sur des problèmes académiquement difficiles. Mais comme repère de long terme du progrès, il suscite des doutes fondés : optimiser pour des raretés académiques ne mène pas à une utilité réelle. Une évaluation utile des progrès de l'IA exige des benchmarks qui testent des scénarios réels : écriture de code, analyse de données, aide médicale, analyse juridique. Tant que le choix des repères restera académique, le débat sur le « vrai niveau de l'IA » risque de tourner dans son propre vide.

Questions fréquentes

Quel résultat

OpenAI o3 a-t-il obtenu sur Humanity's Last Exam ?

Selon la publication de janvier 2025, OpenAI o3 a donné environ 18 % de bonnes réponses, le meilleur résultat parmi les modèles testés au moment de la publication. La plupart des autres systèmes de pointe, dont GPT-4o et Claude 3.5 Sonnet, sont restés dans une fourchette de 3 à 8 %.

Qui a créé le benchmark HLE et pourquoi ?

Le benchmark a été développé conjointement par le Center for AI Safety (CAIS) et Scale AI. Les auteurs voulaient montrer que les systèmes d'IA actuels n'ont pas encore atteint le niveau des meilleurs spécialistes humains sur des tâches cognitives complexes, et tempérer les attentes démesurées autour de l'AGI.