Harvey LAB-AA v1.1 : Grok 4.7 en tête avec 9,4 % après filtrage des hallucinations

Artificial Analysis et l'entreprise d'IA juridique Harvey ont mis à jour le benchmark Harvey LAB-AA en version 1.1. Le principe d'évaluation évolue en profondeur : une tâche n'est désormais validée que si l'ensemble des critères du barème est respecté et si les documents finaux sont exempts d'hallucinations substantielles. Sur 120 dossiers juridiques privés, Grok 4.7 (xhigh) prend la première place avec un score de 9,4 %. Ce résultat est nettement inférieur aux performances mesurées avant l'introduction de ce filtre. Plus de 60 % des résultats initialement considérés comme des succès chez les modèles testés comportent des faits inventés majeurs, et plusieurs modèles tombent même à zéro après vérification.

Le protocole d'audit

Conçues par l'équipe de Harvey, les tâches couvrent les fusions-acquisitions, les marchés de capitaux, la fiscalité, le contentieux et les procédures collectives. Le modèle opère en tant qu'agent autonome et livre les documents finaux. Chaque livrable fait ensuite l'objet d'une vérification en deux étapes face aux pièces du dossier. Dans un premier temps, un juge LLM repère les passages suspects selon trois catégories : contradiction directe avec les sources, invention pure du contenu d'une source, ou affirmation précise dépourvue de tout fondement dans le dossier. Dans un second temps, le même juge réexamine chaque signalement à l'échelle de l'ensemble des documents de la tâche, écarte les faux positifs et classe les erreurs restantes en anomalies substantielles ou mineures.

La méthodologie illustre ce qu'est une erreur substantielle : dans un cas de droit fiscal, un modèle a qualifié une dette d'« emprunt de $220 millions plus obligations de $214 millions », alors qu'il s'agissait du solde initial et final d'un unique emprunt après un remboursement de $6 millions. À l'inverse, une imprécision arithmétique dans un calcul de répartition proportionnelle est jugée mineure et ne pénalise pas le score. Les règles de droit positif et la jurisprudence externes au dossier ne sont pas traitées comme des hallucinations : les modèles ne sont donc pas sanctionnés lorsqu'ils mobilisent des lois ou des précédents.

L'évaluation des critères du barème est désormais confiée à un panel de trois juges LLM : GPT-6 Sol, Grok 4.7 et Claude Opus 5.5, dont les verdicts sont moyennés, contre un seul juge en version 1.0. Les auteurs ont mesuré le biais potentiel de ce panel envers leurs propres familles de modèles et l'ont jugé minime. L'audit spécifique des hallucinations est quant à lui intégralement réalisé par GPT-6 Sol (high).

Les écarts au classement

Classement selon le Hallucination-Gated All-Pass Rate :

• Grok 4.7 (xhigh) : 9,4 %
• Muse Spark 1.3 (max) : 8,9 %
• GPT-6 Astra (max) : 8,6 %
• GPT-6.1 Sol (max) : 6,9 %
• Claude Fable 5.1 (max, avec fallback) : 6,4 %
• Kimi K3 (max) : 5,3 %
• Claude Opus 5.5 (max, avec fallback) : 4,2 %

Les modèles Claude tournaient avec le mécanisme de fallback d'Anthropic activé, mais n'y ont jamais eu recours.

L'impact du filtre est particulièrement visible sur Muse Spark 1.3. Sans lui, le modèle dominait largement le benchmark avec 26,7 % de réussite complète ; or, les deux tiers de ces validations contenaient en réalité une hallucination substantielle.

Le modèle affiche pourtant un taux record de 96,0 % sur les critères du barème, mais commet en moyenne 1,68 hallucination substantielle par tâche. À l'inverse, GPT-6 Astra conserve la quasi-totalité de ses acquis (8,9 % avant filtrage, 8,6 % après) et remonte de la 10e place ex æquo au 3e rang. Il ne présente en moyenne que 0,03 hallucination substantielle par tâche, soit 4 occurrences seulement sur les 120 cas testés.

GPT-6 Sol se situe à 0,07 (8 cas). Le contre-record revient à Gemini 3.8 Flash avec 13,96 anomalies par tâche.

Aucun modèle open-weights ne descend sous la barre des 2,09 hallucinations substantielles par tâche.

La majorité des systèmes valide aisément les critères de rubrication : 16 modèles atteignent entre 85,6 % et 96,0 % de validation. Remplir une checklist procédurale et ne rien inventer relèvent ainsi de deux compétences bien distinctes. Selon les auteurs, la propension à halluciner dépend bien plus du modèle lui-même que du domaine juridique traité.

Réserves méthodologiques et enseignements

Les résultats de la v1.1 ne peuvent pas être comparés directement aux données publiées de la v1.0. La métrique, le panel de juges et le jeu de données (désormais Harvey v1.1.0) ont tous évolué. Il s'agit par ailleurs d'une implémentation indépendante et non du banc d'essai propriétaire de Harvey. Les modèles sont exécutés via le framework d'agents Stirrup avec compactage du contexte, sans les outils sur mesure de Harvey ni scripts d'export pptx et docx, en se limitant à une exécution de code basique. Le nommage des fichiers livrables doit correspondre exactement, sans tolérance approximative.

La sévérité de l'évaluateur retenu soulève également des questions. Lors d'un test préliminaire sur 20 tâches et 8 modèles, GPT-6 Sol a validé 470 hallucinations substantielles, contre 219 pour Grok 4.7, 99 pour Opus 5.5 et 57 pour Sonnet 5.5. Aucun des six juges candidats n'a relevé d'erreur matérielle chez GPT-6 Astra, tandis que les scores attribués à GPT-6 Sol oscillaient entre 0 et 0,20 par tâche. Si la hiérarchie globale reste stable, les valeurs absolues varient selon la sévérité du juge. La présence d'un auditeur issu de la famille GPT-6 pour évaluer des modèles GPT-6 constitue un paramètre à garder en tête à la lecture du tableau.

Pour les directions juridiques, le constat opérationnel est sans appel : le taux de complétion d'un cahier des charges ne préjuge en rien de la fiabilité d'un agent. Un score de « 16 points validés sur 20 » reste acceptable tant qu'aucune date ou somme financière n'est inventée dans l'acte. Pour les travaux contractuels ou fiscaux, l'indicateur clé demeure le volume d'hallucinations substantielles par tâche, ce qui impose de maintenir un contrôle systématique face aux pièces sources. Les auteurs prévoient d'intégrer dans les prochaines versions des dimensions qualitatives tout aussi cruciales pour les juristes, à commencer par le style et le ton des actes rédigés.