LM Arena
LM Arena est une plateforme d'évaluation d'IA financée par la foule où les utilisateurs comparent deux réponses de modèles anonymes côte à côte et votent pour la meilleure, générant un classement basé sur Elo de la qualité du modèle de langage sur des prompts ouverts et du monde réel.
LM Arena, lancé d'abord sous le nom de Chatbot Arena par le groupe de recherche LMSYS (Large Model Systems) de l'Université de Californie à Berkeley en avril 2023 et ensuite rebrandé en lmarena.ai, est une plateforme d'évaluation ouverte pour les grands modèles de langage. Son mécanisme central est la comparaison pairwise aveugle : un utilisateur soumet un prompt et reçoit des réponses de deux modèles sélectionnés aléatoirement et anonymisés, puis vote pour la réponse qu'il préfère. Les identités des modèles ne sont révélées qu'après le vote, ce qui réduit le biais de sélection qui surgirait si les utilisateurs connaissaient quelle entreprise a construit chaque système.
Les classements sont calculés en utilisant un modèle de notation Bradley-Terry ou Elo, le même cadre statistique utilisé dans les classements d'échecs. Parce que chaque vote met à jour les évaluations par rapport à la force des modèles impliqués, le système est robuste à la large variation de la difficulté des prompts soumis par différents utilisateurs. En 2025, la plateforme avait accumulé des dizaines de millions de votes de préférence humaine entre les arènes texte, vision et codage, constituant l'un des plus grands ensembles de données de préférence humaine disponibles publiquement pour l'évaluation des LLM.
LM Arena comble une lacune laissée par les benchmarks statiques : elle capture le jugement humain ouvert par rapport aux prompts divers et naturellement occurant plutôt que les ensembles de tests prédéfinis pour lesquels les développeurs pourraient optimiser. Son classement est devenu une référence standard dans les annonces de sortie de modèles d'OpenAI, Google, Anthropic, Meta et Mistral, et il influence manifestement les modèles que les praticiens sélectionnent pour les déploiements de production. Les limites connues incluent un biais utilisateur en anglais et techniquement alphabétisé, et une sur-représentation du codage et des Q&A factuels par rapport au spectre complet des applications du monde réel.
En 2026, la plateforme s'est étendue au-delà du texte aux arènes dédiées à la compréhension de la vision et aux tâches de codage, et le travail académique a analysé la façon dont les scores Elo Arena prédisent les performances sur les benchmarks spécialisés en aval, trouvant une corrélation modérée mais imparfaite selon le domaine.