Le jeu public AA-Omniscience v1.1 colle au jeu fermé : corrélation de 0,99 sur le Net Score

Artificial Analysis a publié sur Hugging Face un nouveau jeu public pour le benchmark AA-Omniscience v1.1. Selon l'entreprise, il a été calibré spécialement pour que sa difficulté corresponde à celle du jeu fermé. À la sortie, la corrélation entre les résultats public et fermé sur la métrique AA-Omniscience Net Score est de 0,99, et l'écart médian est de 0,0 point. Les auteurs ont aussi comparé la précision et le taux d'hallucinations sur les deux jeux, mais le texte complet du post est tronqué dans notre source : nous n'avons donc pas de chiffres précis pour ces métriques.

Pourquoi un benchmark a besoin de deux jeux

AA-Omniscience mesure la justesse des réponses des modèles de langage à des questions factuelles, ainsi que la fréquence à laquelle ils inventent une réponse plutôt que d'admettre qu'ils ne savent pas. Le Net Score fusionne ces deux dimensions en un seul score : une bonne réponse le fait monter, une erreur assénée avec aplomb le fait baisser. Un modèle qui répond moins souvent, mais presque sans invention, peut ainsi devancer un modèle qui répond à tout et se trompe souvent.

Ce schéma pose un problème classique. Si toutes les questions sont en accès libre, elles finissent tôt ou tard dans les données d'entraînement, et les chiffres cessent de refléter les connaissances réelles. L'évaluation principale repose donc sur un jeu fermé, connu du seul organisateur. Mais les équipes indépendantes veulent lancer les modèles elles-mêmes : vérifier leurs propres fine-tunings, comparer des quantifications, déboguer des prompts et des pipelines. Il leur faut pour cela un jeu ouvert. Et il n'a d'utilité que si ses résultats permettent de prédire ceux du jeu fermé.

Ce que signifient 0,99 et 0,0

Une corrélation de 0,99 signifie que l'ordre des modèles diffère à peine entre le jeu public et le jeu fermé. Si un modèle A devance un modèle B sur les données ouvertes, il y a de fortes chances qu'il le devance aussi sur les données fermées. L'écart médian de 0,0 point dit autre chose : les scores coïncident non seulement dans le classement, mais aussi en valeur absolue. Un modèle typique obtient sur le jeu ouvert le même Net Score que sur le jeu fermé.

Ces deux indicateurs se complètent. La corrélation pourrait être élevée malgré un décalage systématique : par exemple, tous les modèles pourraient marquer 10 points de plus sur le jeu ouvert. Un écart médian proche de zéro écarte justement ce décalage. Pour les praticiens, cela signifie que le jeu ouvert peut servir non seulement à comparer des modèles, mais aussi à estimer approximativement leur niveau.

Les limites à garder en tête

Premièrement, les auteurs parlent d'une concordance « à la sortie ». Les questions publiques restent publiques : elles peuvent être intégrées à des corpus d'entraînement, et les résultats sur le jeu ouvert se mettraient alors à progresser plus vite que sur le jeu fermé. Il faudra revérifier la corrélation au fil du temps.

Deuxièmement, ces chiffres concernent les modèles qu'Artificial Analysis a déjà évalués sur les deux jeux. Pour de nouvelles architectures ou des stratégies de refus de répondre inhabituelles, la concordance n'est pas garantie. Les métriques qui pénalisent l'erreur sont particulièrement sensibles à la façon dont le modèle décide de répondre ou de s'abstenir.

Troisièmement, nous n'avons vu qu'un court post. Pour la taille du jeu, la liste des thèmes et la méthode de calibration de la difficulté, mieux vaut consulter la fiche du dataset sur Hugging Face et la documentation d'Artificial Analysis.

La conclusion pratique est simple. Si vous choisissez un modèle pour des tâches où un fait inventé coûte cher, comme le support client ou les réponses juridiques ou médicales, vous pouvez désormais le tester vous-même sur le jeu ouvert AA-Omniscience et vous attendre à un résultat proche du résultat officiel. Pour la comparaison finale de modèles de différents éditeurs, il reste plus raisonnable de se référer au jeu fermé, que mettent à jour et contrôlent Artificial Analysis elle-même.