Arena : le classement de modèles d'IA impossible à truquer, financé par ceux qu'il juge

Le marché des modèles de langage compte des centaines d'acteurs, et chacun se proclame le meilleur. La question de savoir qui décide du meilleur n'a rien de philosophique : elle est devenue un business. Arena, anciennement LM Arena, est devenu le principal juge public des LLM de pointe et, en sept mois, est passé d'une recherche universitaire à une start-up dotée d'une réelle influence sur l'industrie.

Le projet est issu du travail de doctorants de l'Université de Californie à Berkeley. L'idée est simple : au lieu de se fier à des benchmarks que les entreprises peuvent optimiser à leur avantage, demander à de vraies personnes de comparer en aveugle deux réponses de modèles anonymes et de choisir la meilleure. Le système Elo, connu des classements d'échecs, transforme des millions de votes de ce type en un classement unique. Le manipuler est extrêmement difficile : on ne sait pas pour quel modèle on vote, et la taille de l'échantillon lisse les écarts aléatoires.

L'effet s'est révélé étonnamment puissant. La position dans Arena a commencé à influencer la perception des modèles par les investisseurs en capital-risque, le moment où les entreprises annoncent leurs lancements et la construction du récit de communication autour des nouvelles versions. Atteindre le haut du classement revient à obtenir une confirmation indépendante de la qualité, qu'on ne peut pas balayer en invoquant des tests internes.

Mais le système porte un paradoxe structurel qui soulève des questions embarrassantes. Arena est financé par les entreprises mêmes qu'il évalue. OpenAI, Anthropic, Google, Meta* et d'autres grands acteurs soutiennent la plateforme d'une manière ou d'une autre. Cela crée un conflit d'intérêts potentiel : un juge indépendant est payé par les accusés. L'équipe du projet assure que la méthodologie protège de l'influence des sponsors : l'anonymat des votes et l'ouverture des données ne laissent aucune prise à la manipulation. Les critiques répliquent que la seule dépendance financière sape la confiance, même si techniquement tout est honnête.

Autre question : que mesure exactement Arena ? Le classement reflète les préférences des utilisateurs dans une conversation ouverte, et non la capacité d'un modèle à résoudre des tâches spécialisées : écrire du code, analyser des documents, travailler avec des données. Un modèle qui plaît au grand public dans les échanges du quotidien peut être dépassé par ses concurrents là où la précision compte. Cela ne rend pas le classement inutile : il mesure honnêtement ce qu'il mesure. Mais assimiler la position dans Arena à la qualité globale d'un modèle serait une simplification.

Reste qu'au cours des deux dernières années, Arena est devenu une référence que l'industrie ne peut pas ignorer. Les entreprises bâtissent des campagnes marketing autour des premières places, les chercheurs citent le classement dans des travaux académiques et les journalistes s'en servent comme repère rapide pour couvrir les nouveaux lancements. L'influence est réelle, quelles que soient les querelles sur la méthodologie.

L'histoire d'Arena montre à quelle vitesse des institutions informelles de pouvoir se forment dans l'industrie de l'IA. Personne n'a désigné ce classement comme standard : il l'est devenu parce qu'il a comblé un vide. Le marché avait besoin d'une évaluation indépendante, et le premier à proposer un mécanisme convaincant a obtenu une influence disproportionnée. La question est de savoir combien de temps cet équilibre tiendra, à mesure que les enjeux montent et que le conflit d'intérêts devient plus visible.

*Meta est reconnue comme organisation extrémiste et interdite en Russie.