LM Arena
LM Arena é uma plataforma de avaliação de IA participativa (crowdsourced) onde usuários comparam duas respostas de modelo anônimas lado a lado e votam na melhor, gerando um placar eletrônico baseado em Elo da qualidade de modelos de linguagem em prompts abertos e do mundo real.
LM Arena, originalmente lançada como Chatbot Arena pelo grupo de pesquisa LMSYS (Large Model Systems) da UC Berkeley em abril de 2023 e subsequentemente renomeada em lmarena.ai, é uma plataforma de avaliação aberta para grandes modelos de linguagem. Seu mecanismo central é comparação pareada às cegas: um usuário submete um prompt e recebe respostas de dois modelos selecionados aleatoriamente e anonimizados, depois vota em qualquer resposta que preferir. Identidades de modelo são reveladas apenas após o voto ser lançado, reduzindo viés de seleção que surgiria se usuários soubessem qual empresa construiu cada sistema.
As classificações são calculadas usando um modelo de classificação Bradley-Terry ou Elo, o mesmo framework estatístico usado em classificações de xadrez. Porque cada voto atualiza classificações relativas à força dos modelos envolvidos, o sistema é robusto à ampla variação em dificuldade de prompt submetida por diferentes usuários. Por 2025 a plataforma havia acumulado dezenas de milhões de votos de preferência humana entre arenas de texto, visão e codificação, constituindo um dos maiores conjuntos de dados de preferência humana publicamente disponíveis para avaliação de LLM.
LM Arena aborda uma lacuna deixada por benchmarks estáticos: captura julgamento humano aberto em prompts diversos e naturalmente ocorrentes em vez de conjuntos de testes predefinidos que desenvolvedores podem otimizar. Seu placar eletrônico tornou-se uma referência padrão em anúncios de lançamento de modelos da OpenAI, Google, Anthropic, Meta e Mistral, e comprovadamente influencia quais modelos praticantes selecionam para implantações em produção. Limitações conhecidas incluem um viés de usuário em língua inglesa e tecnicamente alfabetizado, e representação excessiva de codificação e Q&A factual relativo ao espectro completo de aplicações do mundo real.
Por 2026, a plataforma estendeu-se além de texto para arenas dedicadas a tarefas de compreensão de visão e codificação, e trabalho acadêmico analisou quão bem as pontuações Arena Elo predizem o desempenho em benchmarks especializados posteriores, encontrando correlação moderada mas imperfeita dependendo do domínio.