Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

Dos jueces de IA en una prueba jurídica de 15 LLM favorecieron a los suyos: un sesgo de 0,04 puntos sobre 1

Las puntuaciones de los rankings de LLM suelen ponerlas otras LLM, y pueden estar sesgadas. El autor de «neShemyaka!» probó 15 modelos con 30 casos cerrados del Tribunal Supremo ruso; juzgaron Claude Opus 5.5 y Grok 4.7 en una escala de 0 a 1. Los jueces coinciden (correlación de 0,95), pero eligen como mejor la respuesta de su propio fabricante con más frecuencia: Opus eligió la suya 4 veces; Grok, ninguna. Por eso, a un juez que también compite hay que sumarle un juez de otro fabricante.

Procesado por IA desde Habr AI; editado por Hamidun News
Dos jueces de IA en una prueba jurídica de 15 LLM favorecieron a los suyos: un sesgo de 0,04 puntos sobre 1
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Sesgo a favor de los modelos de Anthropic+0,040 (intervalo de +0,020 a +0,060)
Dato clave #2Claude Fable 5.2 no tiene respuestas débiles: la peor de las 30 obtuvo 0,64
GLM-5.3 FlashX Legal, la versión jurídica0,494 frente a 0,473, diferencia no significativa

Imagine un concurso de cocineros en el que uno de los participantes forma parte del jurado. Formalmente, los platos se prueban a ciegas, pero el estilo de un cocinero conocido se reconoce. Algo parecido ocurre en los rankings de modelos de lenguaje, donde las respuestas de unas LLM las evalúa otra LLM, el llamado LLM-as-a-Judge.

El autor del servicio jurídico «neShemyaka!», que pronostica el desenlace de litigios a partir de los materiales del caso, repitió en noviembre de 2026 la medición Lexometrica Ground Truth: 15 modelos, 30 casos cerrados basados en la práctica del Tribunal Supremo de Rusia y dos jueces de IA, Claude Opus 5.5 y Grok 4.

7. Esta vez se examinó no solo a los modelos, sino también a los propios jueces. El resultado: los jueces coinciden en general entre sí (correlación de 0,95), pero cada uno considera mejor con más frecuencia la respuesta del modelo de su propio fabricante, y el sesgo a favor de los modelos de Anthropic fue de +0,040 puntos en una escala de 0 a 1.

Cómo está montada la prueba

Cada uno de los 30 casos incluye la descripción de una situación, una pregunta, una rúbrica experta y una respuesta de referencia. Casi la mitad del conjunto (13 casos) examina lo más difícil: aplicar una norma a hechos concretos. Otros 6 casos se dedican a identificar cuestiones jurídicas, 6 a la conclusión, 4 a la reproducción de la norma y 1 a la interpretación. El conjunto es cerrado para que los casos no acaben en los datos de entrenamiento de los modelos.

En cada caso, cada juez recibía las 15 respuestas a la vez, con etiquetas de letras y en orden aleatorio; los nombres de los modelos se eliminaban de los textos. La puntuación final de una respuesta es la media de los dos jueces y la puntuación de un modelo es la media de los 30 casos. Los modelos no tenían acceso a buscadores ni a sistemas de consulta jurídica, por lo que los resultados no pueden trasladarse directamente a productos RAG.

Quién rindió cómo

Claude Fable 5.2 y Gemini 4 Carbon superan con claridad a todos los modelos desde el cuarto puesto, pero entre ellos no se distinguen: Fable queda por encima solo en el 72% de las repeticiones de bootstrap. Además, Fable es la única sin respuestas débiles: su peor resultado entre los 30 casos es 0,64, mientras que en los tres modelos siguientes el mínimo ronda el 0,4. Claude Opus 5.5 y GPT-6.2 Astra están separados por solo 0,02 puntos. Con treinta casos solo se distinguen con seguridad cinco o seis niveles de calidad, y dentro de cada grupo el orden de los modelos es aleatorio.

El volumen de razonamiento no predice la calidad: Kimi K3.1 Pro razona más de veinte veces más que Astra y obtiene 0,582 frente a 0,795. DeepSeek V4.

1 Flash es aproximadamente dos órdenes de magnitud más barato que el líder, con una diferencia de 0,17 puntos, y allí donde un abogado revisa la respuesta de todos modos, un modelo caro difícilmente se justifica. GLM-5.3 FlashX Legal, ajustado para el ámbito jurídico, obtuvo 0,494 frente a 0,473 de la GLM-5.

3 estándar, y la diferencia no es significativa (P = 0,76): el estilo jurídico no aportó conocimiento de las normas del derecho ruso. En dos casos, YandexGPT respondió con la negativa «Я не могу обсуждать эту тему» (No puedo hablar de este tema) a preguntas jurídicas corrientes y recibió cero.

En los modelos fuertes, lo más flojo es la aplicación de la norma a los hechos (0,74–0,85 frente a 0,84–0,91 en la reproducción de la norma). El modo de razonamiento no cubre las lagunas de conocimiento: a partir de una norma mal reproducida, el modelo deduce la decisión con tanta coherencia como a partir de una correcta.

Cuánto se puede confiar en el juez

Para comprobarlo, el autor comparó las puntuaciones de los dos jueces en 450 respuestas. La correlación por respuestas es de 0,953 y la discrepancia media, de 0,065; en el 80% de las respuestas no supera 0,10 y en el 99%, 0,20. Una nueva evaluación con el mismo Opus daba una discrepancia de 0,041, mientras que la pareja Opus y Grok daba 0,066, de modo que un juez de otro fabricante añade poco a su propio ruido.

Pero el coeficiente global engaña. Dentro de cada caso, la correlación de rangos para los seis modelos superiores es de apenas 0,57, y para los nueve inferiores, de 0,92. La discrepancia es igual en ambos grupos (0,06–0,07), pero las puntuaciones de las respuestas fuertes se concentran en una franja estrecha, y esa dispersión basta para alterar su orden. El juez separa con fiabilidad una respuesta buena de una mala, pero ordena mal dos respuestas buenas.

El sesgo a favor de «los suyos» se manifiesta de varias maneras. La diferencia entre las medias de Opus y Grok es positiva exactamente en dos de los quince modelos, y ambos son de Anthropic: Opus 5.5 (+0,014) y Fable 5.2 (+0,012). El sesgo relativo para los modelos de Anthropic es de +0,040, con un intervalo de confianza del 95% de +0,020 a +0,060, y la probabilidad de que las dos posiciones superiores recaigan por azar en un mismo fabricante es de 1/105. El juez Opus nombró mejor la respuesta de Opus 4 veces y el juez Grok, ninguna, mientras que Grok eligió su propia respuesta 5,7 veces frente a 1,8 de Opus.

Esto afecta directamente a la tabla. Según las puntuaciones de Opus por sí solo, su modelo supera a GPT-6.2 Astra por 0,053 (P = 1,00); según las de Grok por sí solo, el orden es el inverso (0,809 frente a 0,819); y en la media de los dos jueces la diferencia es de 0,021 (P = 0,90). Con dos jueces no se puede establecer de dónde procede exactamente el sesgo: Opus pudo inflar las notas de los suyos y Grok pudo rebajar las de los ajenos. El sesgo propio de Grok en las puntuaciones medias no está demostrado: una ventaja comparable la recibe también GPT-6.2 Astra, YandexGPT y GigaChat, que no tienen relación con él.

Qué hacer en la práctica

Si basa su evaluación de calidad en LLM-as-a-Judge, no ponga como juez a un modelo que participa en la comparación, o al menos contraste sus puntuaciones con las de un juez de otro fabricante. Publique la fiabilidad por separado para el grupo superior, y no solo el coeficiente global. Muestre el mínimo y el número de fallos junto a la media: en el trabajo jurídico, el coste del error es asimétrico, y un modelo con buena media pero fallos en casos concretos es más peligroso que uno regular.

Hay también una salvedad: 30 casos son una muestra pequeña, ambos jueces participan a su vez en el ranking, y el autor presenta parte de las conclusiones como una orientación, no como un hecho demostrado. Promete publicar los cálculos completos en un preprint.

Historia

Preguntas frecuentes sobre la noticia

Cómo está montada la prueba?

Cada uno de los 30 casos incluye la descripción de una situación, una pregunta, una rúbrica experta y una respuesta de referencia. Casi la mitad del conjunto (13 casos) examina lo más difícil: aplicar una norma a hechos concretos. Otros 6 casos se dedican a identificar cuestiones jurídicas, 6 a la conclusión, 4 a la reproducción de la norma y 1 a la interpretación. El conjunto es cerrado para que los casos no acaben en los datos de entrenamiento de los modelos.

¿Qué se sabe sobre Quién rindió cómo?

Claude Fable 5.2 y Gemini 4 Carbon superan con claridad a todos los modelos desde el cuarto puesto, pero entre ellos no se distinguen: Fable queda por encima solo en el 72% de las repeticiones de bootstrap. Además, Fable es la única sin respuestas débiles: su peor resultado entre los 30 casos es 0,64, mientras que en los tres modelos siguientes el mínimo ronda el 0,4. Claude Opus 5.5 y GPT-6.2 Astra están separados por solo 0,02 puntos.

¿Qué se sabe sobre Cuánto se puede confiar en el juez?

Para comprobarlo, el autor comparó las puntuaciones de los dos jueces en 450 respuestas. La correlación por respuestas es de 0,953 y la discrepancia media, de 0,065; en el 80% de las respuestas no supera 0,10 y en el 99%, 0,20. Una nueva evaluación con el mismo Opus daba una discrepancia de 0,041, mientras que la pareja Opus y Grok daba 0,066, de modo que un juez de otro fabricante añade poco a su propio ruido. Pero el coeficiente global engaña.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…