Des doctorants de Berkeley sont devenus les juges de l'industrie de l'IA : comment Arena décide quel modèle est le meilleur

Alors que les entreprises d'IA se disputent le titre de meilleur modèle, le droit de rendre le verdict est revenu à un groupe de doctorants de l'université de Californie à Berkeley. Arena, anciennement LM Arena, est devenue le principal classement public des modèles de frontière. Ses positions sont citées dans les communiqués de presse, prises en compte par les investisseurs en capital-risque et utilisées par les équipes de développeurs pour choisir un modèle de base. En seulement sept mois, le projet est passé d'une expérience académique à une véritable start-up, avec une influence réelle sur l'industrie.

Arena repose sur le crowdsourcing : les utilisateurs comparent les réponses de deux modèles anonymes et votent pour la meilleure. Le système accumule des millions de comparaisons de ce type et les traduit en classement selon la méthode Elo, les mêmes mathématiques que celles qui servent à noter les joueurs d'échecs. L'anonymat des modèles écarte le biais de marque : l'utilisateur ignore de qui provient la réponse qu'il lit tant qu'il n'a pas voté.

L'infrastructure née d'un projet universitaire pèse aujourd'hui sur les plus grands acteurs du marché. Quand OpenAI, Google ou Anthropic sortent un nouveau modèle, l'un des premiers indicateurs de réussite est sa place dans Arena. Les fonds de capital-risque suivent le classement pour leurs décisions d'investissement. Les équipes marketing bâtissent des campagnes de relations publiques autour d'une ligne du classement.

Le système a toutefois des limites évidentes. Ce sont les internautes qui votent, et non un échantillon représentatif de professionnels. Les tâches que les utilisateurs soumettent aux modèles ne reflètent pas toujours des scénarios réels de production. Enfin, les utilisateurs actifs d'Arena sont, en règle générale, des passionnés à l'aise techniquement, et non le client d'entreprise moyen.

Arena a néanmoins comblé un vide que les benchmarks académiques n'ont pas su combler. Les tests standard comme MMLU ou HumanEval mesurent des capacités étroites dans des conditions contrôlées. Arena mesure ce qui est le plus difficile à formaliser : si une réponse plaît aux gens. C'est en définitive cette impression qui détermine quel modèle l'utilisateur choisira.

L'histoire d'Arena montre comment la communauté académique peut fixer des standards dans une industrie qui évolue vite, où les entreprises n'ont ni le temps ni l'intérêt de créer une infrastructure d'évaluation neutre. Reste à savoir si cette neutralité tiendra à mesure que la start-up grandit et attire des financements extérieurs.