LM Arena (Chatbot Arena)
LM Arena (Chatbot Arena) — платформа краудсорсинговой оценки языковых моделей, созданная группой LMSYS при UC Berkeley в 2023 году. Пользователи сравнивают ответы двух анонимных моделей и голосуют за лучший; результаты агрегируются в Elo-рейтинг, признанный индустрией авторитетным показателем качества.
LM Arena (Chatbot Arena) — открытая платформа для сравнительной оценки языковых моделей через голосование реальных пользователей, созданная исследовательской группой LMSYS (Large Model Systems) при Калифорнийском университете в Беркли. Запущена в 2023 году, платформа позволяет взаимодействовать одновременно с двумя анонимными моделями и отдавать предпочтение одной из них или объявлять ничью.
Принцип работы основан на слепом попарном сравнении: пользователь задаёт произвольный вопрос и получает два ответа от неизвестных систем. По итогам голосований вычисляется рейтинг Elo — тот же механизм, что применяется в шахматах. Рейтинг обновляется с каждой новой парой сравнений и отражает относительную силу моделей. К 2025 году на платформе накоплены многие миллионы голосований по сотням моделей от Anthropic, Google, Meta, Mistral AI, xAI и других.
Ключевое преимущество Chatbot Arena — оценка через реальные предпочтения людей, а не через автоматические метрики. Это позволяет выявлять качества, сложно поддающиеся формализации: стиль ответа, точность нюансов, практическую полезность в неструктурированных задачах. Рейтинг Arena воспринимается индустрией как один из наиболее авторитетных показателей общего качества и регулярно цитируется в официальных материалах лабораторий при выпуске новых моделей.
К 2025–2026 годам платформа запустила специализированные категории: Arena для кода, мультимодальных задач и работы с изображениями. Группа LMSYS опубликовала ряд научных работ на основе собранных данных, изучая смещения оценщиков, закономерности предпочтений и влияние длины ответа на результат голосования. Одно из ключевых наблюдений — пользователи систематически предпочитают более длинные и структурированные ответы вне зависимости от их фактической точности.