Harvey LAB-AA v1.1: Grok 4.7 lidera con un 9,4% tras el filtro de alucinaciones

Artificial Analysis, junto con la empresa de IA jurídica Harvey, ha actualizado el benchmark Harvey LAB-AA a la versión 1.1 y ha cambiado la regla principal de puntuación: una tarea solo cuenta como superada si se cumplen todos los criterios de la rúbrica y los documentos no contienen alucinaciones sustanciales. En las 120 tareas jurídicas privadas lidera Grok 4.7 (xhigh) con un 9,4%. Es una cifra notablemente inferior a las que obtenían los modelos sin el filtro de alucinaciones. Más del 60% de los resultados formalmente exitosos de los modelos evaluados contienen una invención sustancial, y varios modelos terminan en cero tras la verificación.

Cómo funciona la verificación

Las tareas las preparó el equipo de Harvey. Abarcan fusiones y adquisiciones (M&A), mercados de capitales, fiscalidad, litigios y quiebras. El modelo trabaja como agente y entrega documentos terminados. Después, cada documento se contrasta con los materiales originales del caso en dos fases. Primero, un juez marca los fragmentos sospechosos en tres categorías: contradicción con las fuentes, contenido inventado atribuido a una fuente y afirmación concreta que no tiene respaldo en los materiales. Luego, el mismo juez revisa cada marca frente a todos los documentos de la tarea, descarta las infundadas y clasifica las restantes en sustanciales y menores.

Un ejemplo de error sustancial extraído de la metodología: en una tarea fiscal, el modelo registró una deuda como «un préstamo de $220 millones más bonos por $214 millones». En realidad, se trataba del saldo inicial y final de un mismo préstamo tras amortizar $6 millones. Una imprecisión aritmética en un cálculo proporcional se clasifica como menor y no afecta a la puntuación. El derecho de conocimiento general y la jurisprudencia ajenos a los archivos del caso no se consideran alucinación, de modo que los modelos no se penalizan por recurrir a leyes y precedentes.

Los criterios de la rúbrica los evalúa ahora un panel de tres jueces LLM: GPT-6 Sol, Grok 4.7 y Claude Opus 5.5. Los veredictos se promedian. En la versión 1.0 había un único juez. Los autores comprobaron si el panel favorece a sus propias familias de modelos y concluyeron que el sesgo es mínimo. La auditoría de alucinaciones en sí la realiza GPT-6 Sol (high).

Quién cae y dónde

Líderes según la métrica Hallucination-Gated All-Pass Rate:

• Grok 4.7 (xhigh): 9,4%
• Muse Spark 1.3 (max): 8,9%
• GPT-6 Astra (max): 8,6%
• GPT-6.1 Sol (max): 6,9%
• Claude Fable 5.1 (max, con fallback): 6,4%
• Kimi K3 (max): 5,3%
• Claude Opus 5.5 (max, con fallback): 4,2%

Los modelos Claude se ejecutaron con el fallback de Anthropic activado, pero nunca llegaron a usarlo.

El filtro cambió sobre todo la posición de Muse Spark 1.3. Sin él, el modelo lideraba con claridad, con un 26,7% de tareas superadas por completo, pero dos tercios de esos aciertos contienen una alucinación sustancial.

Además, logra un récord del 96,0% de criterios cumplidos, aunque comete de media 1,68 alucinaciones sustanciales por tarea. GPT-6 Astra conservó casi todos sus aciertos (8,9% antes del filtro y 8,6% después) y subió del décimo puesto compartido al tercero. De media registra 0,03 alucinaciones sustanciales por tarea, es decir, 4 casos en las 120 tareas.

GPT-6 Sol marca 0,07 (8 casos). El peor registro es el de Gemini 3.8 Flash: 13,96 por tarea.

Todos los modelos open-weights cometen al menos 2,09 alucinaciones sustanciales por tarea.

La mayoría de los modelos cumple bien los criterios de la rúbrica: 16 modelos superan entre el 85,6% y el 96,0% de los criterios. Completar una lista de comprobación y no inventar son habilidades distintas. Según los autores, la propensión a alucinar depende mucho más del modelo que del área del derecho.

Salvedades y conclusión práctica

Los resultados de v1.1 no se pueden comparar con las cifras publicadas antes para v1.0. Han cambiado la métrica, el panel de jueces y el conjunto de datos (ahora Harvey v1.1.0). Además, se trata de una implementación independiente, no del test original de Harvey. Los modelos se ejecutan sobre el arnés agéntico Stirrup con compactación de contexto, sin las herramientas personalizadas de Harvey ni los scripts de generación de pptx y docx, solo con ejecución sencilla de código. El nombre del archivo de resultados debe coincidir exactamente, sin coincidencia aproximada.

La severidad del juez merece una mención aparte. En una prueba con 20 tareas y 8 modelos, GPT-6 Sol confirmó 470 alucinaciones sustanciales, Grok 4.7 confirmó 219, Opus 5.5 confirmó 99 y Sonnet 5.5 confirmó 57. Los seis candidatos a juez no encontraron errores sustanciales en GPT-6 Astra, mientras que en GPT-6 Sol contaron entre 0 y 0,20 por tarea. La clasificación de los modelos es estable, pero las cifras absolutas dependen de la severidad del juez. Conviene tener presente, al leer la tabla, que un auditor de la familia GPT-6 evalúa también a modelos GPT-6.

Para los equipos jurídicos, la conclusión es sencilla. El porcentaje de criterios cumplidos dice poco sobre la fiabilidad de un agente. Un resultado de «16 de 20 puntos completados» no es preocupante si el documento no contiene una fecha o una cifra inventadas. Al elegir un modelo para trabajo contractual y fiscal, conviene fijarse en el número de alucinaciones sustanciales por tarea y mantener como obligatoria la verificación frente a los documentos originales. Los autores prometen que las próximas versiones tendrán en cuenta también lo que los juristas valoran además de la precisión, por ejemplo el estilo y el tono de los documentos.