LM Arena

LM Arena, lancé d'abord sous le nom de Chatbot Arena par le groupe de recherche LMSYS (Large Model Systems) de l'Université de Californie à Berkeley en avril 2023 et ensuite rebrandé en lmarena.ai, est une plateforme d'évaluation ouverte pour les grands modèles de langage. Son mécanisme central est la comparaison pairwise aveugle : un utilisateur soumet un prompt et reçoit des réponses de deux modèles sélectionnés aléatoirement et anonymisés, puis vote pour la réponse qu'il préfère. Les identités des modèles ne sont révélées qu'après le vote, ce qui réduit le biais de sélection qui surgirait si les utilisateurs connaissaient quelle entreprise a construit chaque système.

Les classements sont calculés en utilisant un modèle de notation Bradley-Terry ou Elo, le même cadre statistique utilisé dans les classements d'échecs. Parce que chaque vote met à jour les évaluations par rapport à la force des modèles impliqués, le système est robuste à la large variation de la difficulté des prompts soumis par différents utilisateurs. En 2025, la plateforme avait accumulé des dizaines de millions de votes de préférence humaine entre les arènes texte, vision et codage, constituant l'un des plus grands ensembles de données de préférence humaine disponibles publiquement pour l'évaluation des LLM.

LM Arena comble une lacune laissée par les benchmarks statiques : elle capture le jugement humain ouvert par rapport aux prompts divers et naturellement occurant plutôt que les ensembles de tests prédéfinis pour lesquels les développeurs pourraient optimiser. Son classement est devenu une référence standard dans les annonces de sortie de modèles d'OpenAI, Google, Anthropic, Meta et Mistral, et il influence manifestement les modèles que les praticiens sélectionnent pour les déploiements de production. Les limites connues incluent un biais utilisateur en anglais et techniquement alphabétisé, et une sur-représentation du codage et des Q&A factuels par rapport au spectre complet des applications du monde réel.

En 2026, la plateforme s'est étendue au-delà du texte aux arènes dédiées à la compréhension de la vision et aux tâches de codage, et le travail académique a analysé la façon dont les scores Elo Arena prédisent les performances sur les benchmarks spécialisés en aval, trouvant une corrélation modérée mais imparfaite selon le domaine.

Exemple

“Une startup évaluant les LLM de base pour un chatbot d'assistance client consulte le classement LM Arena pour identifier quels modèles gagnent régulièrement les meilleurs scores Elo en termes de qualité conversationnelle, puis limite les essais d'API payants aux trois options les mieux classées pour réduire les coûts d'évaluation.