Des chercheurs proposent une nouvelle façon de mesurer l'intelligence de l'IA au-delà du niveau humain

En juillet 2026, un groupe de chercheurs a publié sur arXiv un article qui propose une nouvelle approche pour mesurer les capacités des systèmes d'IA qui surpassent déjà les humains. Au lieu de tests fixes écrits par des personnes, les modèles génèrent des défis publics les uns pour les autres, et les résultats sont agrégés dans un classement psychométrique adversarial.

Où les benchmarks actuels pèchent

La question qui donne son titre à l'article, comment mesurer l'intelligence au-delà de l'échelle humaine, devient de plus en plus concrète à mesure que les modèles phares dépassent les humains l'un après l'autre aux examens professionnels, aux tests de programmation et aux olympiades scientifiques. Les benchmarks écrits par des humains finissent par saturer : les modèles atteignent peu à peu le score maximal ou presque, et le test ne distingue plus les systèmes selon leur qualité. Pour les modèles qui surpassent déjà les humains dans un domaine précis, le problème s'aggrave : les concepteurs de tests (examiners) peuvent tout simplement ignorer quelles tâches sont à la fois assez difficiles et vérifiables pour un système de ce niveau.

Les auteurs affirment que cette difficulté ne tient pas au hasard de tests particuliers, mais découle systématiquement de l'approche elle-même, l'évaluation sur échelle absolue, où le résultat est comparé à une référence humaine fixe.

Comment fonctionne la nouvelle approche

À la place de l'échelle absolue, les auteurs proposent un paradigme de mesure relative : les modèles génèrent des défis publics conçus pour départager les autres systèmes selon leur qualité. Autrement dit, le test n'est pas créé par un expert humain, mais par un système d'IA en concurrence avec les autres.

• Les résultats de ces défis sont agrégés dans un système de notation psychométrique adversarial
• Selon les auteurs, ce système peut monter en échelle à mesure que les capacités des systèmes évalués augmentent, et ne « se heurte » donc pas à un plafond comme les benchmarks statiques
• Les auteurs décrivent des protocoles pratiques qui réduisent les incitations aux attaques fondées sur des informations privées, c'est-à-dire aux tentatives de « tricher » en regardant les réponses ou les conditions du test
• Les protocoles permettent une adjudication sans juge, c'est-à-dire qu'ils n'exigent ni modèle arbitre distinct ni humain pour rendre le verdict
• Le cadre a été testé à la fois sur des tâches vérifiables et sur des domaines ouverts, qui ne se prêtent pas à une vérification formelle

À quoi sert un tel système d'évaluation

L'idée est que l'évaluation puisse « continuer à fonctionner » une fois que les systèmes ont dépassé la frontière humaine dans un domaine donné. Là, les benchmarks écrits par des humains ne distinguent plus un bon modèle d'un excellent, car le concepteur humain ne peut pas garantir qu'il évalue correctement la difficulté et la justesse d'une tâche pour un système surhumain.

Le principal défi technique de cette approche est d'empêcher les modèles de « s'entendre » entre eux ou d'ajuster malhonnêtement les défis aux points faibles de leurs concurrents. C'est pourquoi les auteurs décrivent à part des protocoles contre les attaques fondées sur des informations privées et défendent une adjudication sans juge distinct : moins le système compte de points que des actions coordonnées des participants peuvent « tromper », plus le classement final est fiable.

Ce que cela signifie

Ce travail s'inscrit dans le débat plus large sur la saturation des benchmarks d'IA existants : à mesure que les modèles dépassent les tests humains les uns après les autres, l'industrie a besoin de méthodes de mesure qui ne dépendent pas de la capacité des humains à imaginer des tâches assez difficiles. Faire générer et évaluer les défis par les modèles eux-mêmes est une réponse possible, même si sa fiabilité pratique et sa résistance à la manipulation restent à vérifier sur des systèmes réels et largement utilisés.