Doutorandos de Berkeley viraram os principais juízes da indústria de IA: como a Arena decide qual modelo é melhor

Enquanto as empresas de IA disputam o título de melhor modelo, o poder de dar o veredito ficou com um grupo de doutorandos da Universidade da Califórnia em Berkeley. A Arena, antes chamada de LM Arena, virou o principal ranking público de modelos de fronteira. Suas posições são citadas em comunicados de imprensa, consideradas por investidores de venture capital e usadas por equipes de desenvolvimento para escolher um modelo base. Em apenas sete meses, o projeto deixou de ser um experimento acadêmico e se tornou uma startup de verdade, com influência real na indústria.

A Arena funciona por crowdsourcing: os usuários comparam as respostas de dois modelos anônimos e votam na melhor. O sistema acumula milhões dessas comparações e as transforma em um ranking pelo método Elo, a mesma matemática usada para avaliar enxadristas. O anonimato dos modelos elimina o viés de marca: o usuário não sabe de quem é a resposta que está lendo até votar.

A infraestrutura que nasceu de um projeto universitário hoje afeta os maiores players do mercado. Quando OpenAI, Google ou Anthropic lançam um novo modelo, um dos primeiros indicadores de sucesso é a posição dele na Arena. Fundos de venture capital acompanham o ranking ao tomar decisões de investimento. Equipes de marketing montam campanhas de relações públicas em torno de uma posição no ranking.

O sistema, porém, tem limitações evidentes. Quem vota é o público da internet, não uma amostra representativa de profissionais. As tarefas que os usuários dão aos modelos nem sempre refletem cenários reais de produção. Por fim, os usuários ativos da Arena costumam ser entusiastas com bom conhecimento técnico, não o cliente corporativo médio.

Ainda assim, a Arena preencheu um vácuo que os benchmarks acadêmicos não conseguiram cobrir. Testes padrão como MMLU ou HumanEval medem capacidades específicas em condições controladas. A Arena mede o que é mais difícil de formalizar: se as pessoas gostam de uma resposta. É essa sensação que, no fim das contas, define qual modelo o usuário vai escolher.

A história da Arena mostra como a comunidade acadêmica pode definir padrões em uma indústria que avança rápido, na qual as corporações não têm tempo nem incentivo para criar uma infraestrutura de avaliação neutra. A questão é se essa neutralidade vai se manter à medida que a startup cresce e atrai financiamento externo.