LM Arena (lmarena.ai)

LM Arena es una plataforma de evaluación de IA colaborativa en lmarena.ai donde los usuarios comparan respuestas de dos modelos anónimos lado a lado y votan por la mejor, generando un clasificador basado en Elo de la calidad del modelo de lenguaje en indicaciones abiertas del mundo real.

Las clasificaciones se calculan utilizando un modelo Bradley-Terry o Elo, el mismo marco estadístico utilizado en las clasificaciones de ajedrez. Debido a que cada voto actualiza las clasificaciones en relación con la fortaleza de los modelos involucrados, el sistema es robusto a la amplia variación en la dificultad de los indicadores enviados por diferentes usuarios. Para 2025, la plataforma había acumulado decenas de millones de votos de preferencia humana en arenas de texto, visión y codificación, constituyendo uno de los mayores conjuntos de datos de preferencia humana disponibles públicamente para evaluación de LLM.

LM Arena aborda una brecha dejada por los conjuntos de referencia estáticos: captura el juicio humano abierto en indicaciones diversas que ocurren naturalmente en lugar de conjuntos de pruebas predefinidas para los que los desarrolladores podrían optimizar. Su clasificador se ha convertido en una referencia estándar en anuncios de lanzamiento de modelos de OpenAI, Google, Anthropic, Meta y Mistral, e influye demostrablemente en los modelos que los profesionales seleccionan para implementaciones de producción. Las limitaciones conocidas incluyen un sesgo del usuario técnicamente alfabetizado en inglés, y una representación excesiva de codificación y preguntas de hechos en relación con el espectro completo de aplicaciones del mundo real.

Para 2026, la plataforma se ha extendido más allá del texto hacia arenas dedicadas para tareas de visión y codificación, y el trabajo académico ha analizado qué tan bien las puntuaciones Arena Elo predicen el desempeño en conjuntos de referencia especializados posteriores, encontrando correlación moderada pero imperfecta dependiendo del dominio.

Ejemplo

“Una empresa emergente que evalúa LLMs base para un chatbot de servicio al cliente consulta el clasificador de LM Arena para identificar qué modelos obtienen consistentemente las mejores puntuaciones Elo en calidad conversacional, luego limita los ensayos de API pagados a las tres opciones mejor clasificadas para reducir costos de evaluación.