Doctorandos de Berkeley, convertidos en los jueces de la industria de la IA: así decide Arena qué modelo es mejor

Mientras las empresas de IA compiten por el título de mejor modelo, el derecho a dictar el veredicto ha acabado en manos de un grupo de doctorandos de la Universidad de California en Berkeley. Arena, antes conocida como LM Arena, se ha convertido en la principal clasificación pública de modelos de frontera. Sus posiciones se citan en notas de prensa, las tienen en cuenta los inversores de capital riesgo y los equipos de desarrollo las usan para elegir un modelo base. En solo siete meses, el proyecto pasó de ser un experimento académico a una startup en toda regla con influencia real en la industria.

Arena funciona mediante crowdsourcing: los usuarios comparan las respuestas de dos modelos anónimos y votan la mejor. El sistema acumula millones de comparaciones y las traduce en una clasificación con el método Elo, las mismas matemáticas que se usan para puntuar a los ajedrecistas. El anonimato de los modelos elimina el sesgo de marca: el usuario no sabe de quién es la respuesta que lee hasta que vota.

La infraestructura nacida de un proyecto universitario influye hoy en los mayores actores del mercado. Cuando OpenAI, Google o Anthropic lanzan un nuevo modelo, uno de los primeros indicadores de éxito es su posición en Arena. Los fondos de capital riesgo siguen el ranking al tomar decisiones de inversión. Los equipos de marketing montan campañas de relaciones públicas en torno a un puesto en la clasificación.

Aun así, el sistema tiene limitaciones evidentes. Votan usuarios de internet, no una muestra representativa de profesionales. Las tareas que los usuarios plantean a los modelos no siempre reflejan escenarios reales de producción. Por último, los usuarios activos de Arena suelen ser entusiastas con buena formación técnica, no el cliente corporativo medio.

Aun así, Arena ha llenado un vacío que los benchmarks académicos no lograron cubrir. Pruebas estándar como MMLU o HumanEval miden capacidades concretas en condiciones controladas. Arena mide lo más difícil de formalizar: si a la gente le gusta una respuesta. Esa sensación es, en última instancia, la que determina qué modelo elegirá el usuario.

La historia de Arena muestra cómo la comunidad académica puede fijar estándares en una industria que avanza a toda velocidad, donde las empresas no tienen ni tiempo ni incentivos para crear una infraestructura de evaluación neutral. La cuestión es si esa neutralidad se mantendrá a medida que la startup crezca y atraiga financiación externa.