Artificial Analysis publie AA-Omniscience v1.1 : le Net Score baisse en moyenne de 2 points

Artificial Analysis a publié AA-Omniscience v1.1, version mise à jour du benchmark qui évalue les connaissances factuelles des modèles de langage et leur propension à halluciner. La métrique finale s'appelle Net Score : selon la méthodologie du benchmark, les réponses erronées sont pénalisées, si bien qu'un modèle qui ment avec aplomb fait moins bonne figure que celui qui refuse honnêtement de répondre. Sur le jeu de questions mis à jour, le Net Score des modèles est inférieur d'environ 2 points en moyenne, la baisse médiane est de 0,6 point et la corrélation de rang de Spearman avec la première version est de 0,98. L'équipe a publié ces chiffres dans un post sur X.

Ce qui change en chiffres

La principale conclusion des auteurs : le classement a peu souffert. La corrélation de rang de Spearman indique dans quelle mesure l'ordre des modèles coïncide dans deux listes ; entre la v1 et la v1.1, elle est de 0,98. Une valeur proche de un signifie que le modèle qui dominait la première version reste, dans la plupart des cas, en haut du tableau dans la seconde. Il en va de même pour le milieu et le bas du classement.

Les scores absolus, eux, ont bougé. Sur le jeu mis à jour, les modèles obtiennent en moyenne environ 2 points de moins en Net Score. La baisse médiane est nettement plus modeste : 0,6 point. L'écart entre moyenne et médiane indique que le modèle type perd peu, tandis que la moyenne est tirée vers le bas par quelques participants dont la chute est plus forte. Le post sur X s'interrompt sur une phrase indiquant que, pour certains modèles, les changements sont bien plus importants ; il faudra donc chercher le détail par modèle dans la publication complète d'Artificial Analysis.

Pourquoi mettre à jour un benchmark de connaissances

Les benchmarks à questions fixes vieillissent. Les questions finissent dans les jeux d'entraînement, les développeurs se mettent à optimiser les modèles pour un ensemble connu, et les énoncés eux-mêmes révèlent des imprécisions et des réponses obsolètes. Renouveler le jeu est la méthode classique pour redonner au test son pouvoir de discrimination. Une légère baisse générale des scores s'inscrit dans cette logique : sur des questions neuves ou corrigées, les résultats sont généralement un peu plus modestes. Toutefois, dans le texte disponible du post, Artificial Analysis n'indique pas les causes de la baisse ; ce n'est donc qu'une explication vraisemblable, pas un fait confirmé.

Pour un tel benchmark, la stabilité de l'ordre des modèles compte plus que les valeurs absolues. Le Net Score sert à comparer les modèles entre eux : lequel invente le moins de faits et sait le mieux quand il vaut mieux se taire. Si la corrélation était tombée à 0,7–0,8, cela aurait signifié que la v1.1 mesure autre chose et que les anciennes conclusions auraient dû être revues. À 0,98, les comparaisons précédentes restent globalement valables.

Comment lire les résultats en pratique

Première règle : ne pas mélanger les versions. Si, dans un tableau de modèles, certains chiffres viennent de la v1 et d'autres de la v1.1, la comparaison sera biaisée d'environ 2 points en moyenne, et davantage pour certains modèles. Pour une évaluation interne, il faut prendre les valeurs d'une seule version et préciser laquelle.

Deuxième règle : de petits écarts de Net Score ne doivent pas être tenus pour une preuve de supériorité. Un décalage médian de 0,6 point est comparable à l'écart entre modèles voisins dans la zone dense du classement. Deux modèles aux scores proches peuvent très bien échanger leurs places d'une version à l'autre, et une forte corrélation de Spearman ne l'exclut pas : elle décrit le tableau d'ensemble, pas chaque paire.

Troisième règle : si votre tâche est sensible aux hallucinations (assistants de référence, support, travail sur documents), mieux vaut examiner les modèles dont le résultat a changé nettement plus que la moyenne. Ce sont ceux qui ont pu profiter de l'ancien jeu de questions. Quand Artificial Analysis dévoilera les détails, il faudra confronter la liste aux modèles que vous utilisez en production.

Les limites sont évidentes : le post d'origine ne contient ni liste de modèles, ni données sur la taille et la composition du nouveau jeu de questions, ni explication sur les questions remplacées. On sait seulement que la v1.1 conserve l'ordre de la v1 avec une corrélation de 0,98, que le Net Score moyen est inférieur d'environ 2 points et le médian de 0,6 point. Pour la plupart des équipes, la conclusion est simple : le classement peut continuer à servir, mais les chiffres de l'ancienne et de la nouvelle version ne doivent pas figurer dans la même colonne.