Dois juízes de IA em teste jurídico com 15 LLMs mostraram viés a favor dos seus: desvio de 0,04 ponto em 1
As notas nos rankings de LLMs costumam ser dadas por outras LLMs, e elas podem ter viés. O autor do serviço "neShemyaka!" (em russo, «неШемяки!») testou 15 modelos em 30 casos fechados da Suprema Corte da Rússia; os juízes foram Claude Opus 5.5 e Grok 4.7, com notas de 0 a 1. Os dois concordam entre si (correlação de 0,95), mas escolhem com mais frequência como melhor a resposta do próprio fabricante: o Opus escolheu a sua 4 vezes, o Grok, nenhuma. Por isso, um juiz que também é participante precisa ser complementado por um juiz de outro fabricante.
Processado por IA de Habr AI; editado por Hamidun News
Imagine um concurso de culinária em que um dos participantes senta no júri. Em tese, os pratos são provados às cegas, mas o estilo de um cozinheiro conhecido é fácil de reconhecer. É mais ou menos isso que acontece nos rankings de modelos de linguagem, em que as respostas de algumas LLMs são avaliadas por outra LLM, o chamado LLM-as-a-Judge.
O autor do serviço jurídico "neShemyaka!" (em russo, «неШемяка!»), que prevê o resultado de disputas judiciais a partir dos autos, repetiu em novembro de 2026 a medição Lexometrica Ground Truth: 15 modelos, 30 casos fechados da jurisprudência da Suprema Corte da Rússia e dois juízes de IA, Claude Opus 5.
5 e Grok 4.7. Desta vez, o teste avaliou não só os modelos, mas também os próprios juízes.
O resultado: os juízes, em geral, concordam entre si (correlação de 0,95), mas cada um tende a considerar melhor a resposta do modelo do seu próprio fabricante, e o desvio a favor dos modelos da Anthropic foi de +0,040 ponto numa escala de 0 a 1.
Como o teste funciona
Cada um dos 30 casos traz a descrição de uma situação, uma pergunta, uma rubrica elaborada por especialistas e uma resposta de referência. Quase metade do conjunto (13 casos) testa a parte mais difícil: a aplicação de uma norma a fatos concretos. Outros 6 casos tratam da identificação de questões jurídicas, 6 da conclusão, 4 da reprodução da norma e 1 da interpretação. O conjunto é fechado para que os casos não entrem nos dados de treinamento dos modelos.
Em cada caso, cada juiz recebia de uma vez as 15 respostas, identificadas por letras em ordem aleatória, com os nomes dos modelos removidos dos textos. A nota final de uma resposta é a média dos dois juízes, e a nota do modelo é a média dos 30 casos. Os modelos não tinham acesso a buscadores nem a bases de consulta jurídica, por isso os resultados não podem ser transferidos diretamente para produtos baseados em RAG.
Quem se saiu como
Claude Fable 5.2 e Gemini 4 Carbon superam com folga todos os modelos a partir do quarto lugar, mas são indistinguíveis entre si: o Fable fica à frente em apenas 72% das repetições de bootstrap. O Fable é, além disso, o único sem respostas fracas: a pior das 30 teve 0,64, enquanto os três modelos seguintes têm mínimas em torno de 0,4. Claude Opus 5.5 e GPT-6.2 Astra estão separados por apenas 0,02 ponto. Com trinta casos, só é possível distinguir com confiança cinco ou seis níveis de qualidade, e dentro de cada grupo a ordem dos modelos é aleatória.
O volume de raciocínio não prevê a qualidade: o Kimi K3.1 Pro raciocina mais de vinte vezes mais que o Astra e obtém 0,582 contra 0,795. O DeepSeek V4.
1 Flash custa cerca de duas ordens de grandeza menos que o líder, com diferença de 0,17 ponto, e onde um advogado revisa a resposta de qualquer forma, um modelo caro dificilmente se justifica. O GLM-5.3 FlashX Legal, ajustado para o domínio jurídico, marcou 0,494 contra 0,473 do GLM-5.
3 comum, e a diferença não é significativa (P = 0,76): o estilo jurídico não acrescentou conhecimento das normas do direito russo. Em dois casos, o YandexGPT respondeu com a recusa "Я не могу обсуждать эту тему" (Não posso discutir esse assunto) a perguntas jurídicas comuns e recebeu zero.
Nos modelos mais fortes, o ponto mais fraco é a aplicação da norma aos fatos (0,74–0,85, contra 0,84–0,91 na reprodução da norma). O modo de raciocínio não cobre lacunas de conhecimento: a partir de uma norma reproduzida de forma errada, o modelo chega a uma decisão de maneira tão coerente quanto a partir de uma norma correta.
Quanto se pode confiar no juiz
Para verificar, o autor comparou as notas dos dois juízes em 450 respostas. A correlação por resposta é de 0,953, a divergência média é de 0,065, e em 80% das respostas ela não passa de 0,10, chegando a no máximo 0,20 em 99%. A reavaliação feita pelo próprio Opus deu divergência de 0,041, enquanto o par Opus e Grok teve 0,066, de modo que um juiz de outro fabricante acrescenta pouco ao ruído do próprio juiz.
Mas o coeficiente geral engana. Dentro de cada caso, a correlação de postos para os seis modelos do topo é de apenas 0,57, contra 0,92 para os nove de baixo. A divergência é a mesma nos dois grupos (0,06–0,07), mas as notas das respostas fortes ficam numa faixa estreita, e essa dispersão basta para trocá-las de posição. O juiz separa com segurança uma resposta boa de uma ruim, mas ranqueia mal duas respostas boas.
O viés a favor dos "seus" aparece de formas diferentes. A diferença entre as médias de Opus e Grok é positiva em exatamente dois dos quinze modelos, e ambos são da Anthropic: Opus 5.5 (+0,014) e Fable 5.2 (+0,012). O desvio relativo para os modelos da Anthropic é de +0,040, com intervalo de confiança de 95% de +0,020 a +0,060, e a probabilidade de acaso colocar as duas posições superiores para um mesmo fabricante é de 1/105. O juiz Opus apontou como melhor a resposta do Opus 4 vezes, o juiz Grok, nenhuma, e o Grok escolheu a própria resposta 5,7 vezes, contra 1,8 do Opus.
Isso afeta diretamente a tabela. Pelas notas do Opus sozinho, seu modelo supera o GPT-6.2 Astra em 0,053 (P = 1,00); pelas notas do Grok sozinho, a ordem se inverte (0,809 contra 0,819); e na média dos dois juízes a diferença é de 0,021 (P = 0,90). Com dois juízes, não é possível determinar de onde vem a distorção: o Opus pode ter inflado as notas dos seus, ou o Grok pode ter rebaixado as dos outros. Um viés próprio do Grok nas notas médias não foi comprovado: um acréscimo comparável também aparece no GPT-6.2 Astra, no YandexGPT e no GigaChat, que não têm relação com ele.
O que fazer na prática
Se você baseia a avaliação de qualidade em LLM-as-a-Judge, não use como juiz um modelo que participa da comparação, ou ao menos confira as notas dele com as de um juiz de outro fabricante. Publique a confiabilidade separadamente para o grupo do topo, e não apenas o coeficiente geral. Mostre o mínimo e o número de falhas ao lado da média: no trabalho jurídico, o custo do erro é assimétrico, e um modelo com boa média, mas com falhas em casos isolados, é mais perigoso do que um modelo regular.
Há também uma ressalva: 30 casos são uma amostra pequena, os dois juízes participam do próprio ranking, e parte das conclusões o autor trata como referência, não como fato comprovado. Ele promete publicar os cálculos completos em um preprint.
- 22 de nov. de 2026Analistas fizeram as contas: em 2028, 87% da energia da Anthropic virá do gás e 11% do carvão
- 22 de nov. de 2026Nova modelo da OpenAI, Astra, escreve 40% mais curto, mas o índice de ressalvas caiu de 96 para 24
- 22 de nov. de 2026Tencent liberou os pesos do Hy4: dos 770 bilhões de parâmetros, apenas 49 bilhões trabalham por token
- 22 de nov. de 2026Imagecaster ensina uma rede neural a reconhecer o seu rosto com 10 a 100 fotos e experimenta roupas em casa
Perguntas frequentes sobre a notícia
Como o teste funciona?
Cada um dos 30 casos traz a descrição de uma situação, uma pergunta, uma rubrica elaborada por especialistas e uma resposta de referência. Quase metade do conjunto (13 casos) testa a parte mais difícil: a aplicação de uma norma a fatos concretos. Outros 6 casos tratam da identificação de questões jurídicas, 6 da conclusão, 4 da reprodução da norma e 1 da interpretação. O conjunto é fechado para que os casos não entrem nos dados de treinamento dos modelos.
O que se sabe sobre Quem se saiu como?
Claude Fable 5.2 e Gemini 4 Carbon superam com folga todos os modelos a partir do quarto lugar, mas são indistinguíveis entre si: o Fable fica à frente em apenas 72% das repetições de bootstrap. O Fable é, além disso, o único sem respostas fracas: a pior das 30 teve 0,64, enquanto os três modelos seguintes têm mínimas em torno de 0,4. Claude Opus 5.5 e GPT-6.2 Astra estão separados por apenas 0,02 ponto.
O que se sabe sobre Quanto se pode confiar no juiz?
Para verificar, o autor comparou as notas dos dois juízes em 450 respostas. A correlação por resposta é de 0,953, a divergência média é de 0,065, e em 80% das respostas ela não passa de 0,10, chegando a no máximo 0,20 em 99%. A reavaliação feita pelo próprio Opus deu divergência de 0,041, enquanto o par Opus e Grok teve 0,066, de modo que um juiz de outro fabricante acrescenta pouco ao ruído do próprio juiz. Mas o coeficiente geral engana.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.