OpenAI et Grok battus par un RAG sur mesure à l'Agentic RAG Legal Challenge

Les auteurs de l'article reviennent sur la façon dont leur équipe a abordé l'Agentic RAG Legal Challenge, une compétition internationale de réponse à des questions à partir de PDF juridiques. Leur principal enseignement est d'un pragmatisme peu confortable : ce qui fait gagner, ce n'est pas le nom ronflant d'un modèle, mais la capacité à rattacher précisément la réponse à la bonne page du document.

Comment les systèmes ont été évalués

Plus de 300 équipes ont participé au défi, et le corpus se composait de véritables décisions de justice, de lois et d'actes réglementaires du DIFC en anglais. Les participants ont d'abord reçu 30 documents et 100 questions d'échauffement, puis près de 300 documents et 900 questions pour la finale. Les questions étaient de types variés : dates, nombres, noms, listes, oui ou non et courtes réponses libres. Mais le plus important n'était pas seulement la justesse de la formulation, c'était la métrique Grounding : les pages indiquées correspondaient-elles à celles d'où la réponse était réellement tirée ?

«

Même une réponse parfaite est ramenée à zéro si elle cite la mauvaise page. »

Pour y répondre, l'équipe a monté son propre pipeline : les PDF ont été convertis en Markdown, découpés en chunks sémantiques, chacun a reçu un contexte généré, des embeddings denses et sparse ont été calculés, et le tout a été stocké dans Qdrant. Une partie du travail a tourné en local sur un Mac Studio M3 Ultra. La machine a vite réglé le parsing de 30 PDF et les embeddings locaux, mais la génération du contexte des chunks s'est révélée trop lente : à cause du long prefill, chaque chunk demandait 15 à 20 secondes, et cette étape a donc dû être déportée vers une API externe.

Qui a échoué en premier

Les auteurs ont d'abord testé la voie la plus paresseuse : charger simplement les documents dans la base de connaissances intégrée d'OpenAI. À l'œil, le résultat paraissait correct, mais les métriques ont donné un Total de 0.362 : les réponses étaient souvent bonnes, mais la citation des pages gâchait tout.

Ils ont ensuite testé le CAG, où presque tout le corpus est envoyé d'un coup au modèle, sans recherche par fragments. Une expérience avec Qwen 3.5 Flash et un contexte allant jusqu'à 1 million de tokens a montré que le CAG n'est pas inutile : la précision était élevée, mais le Grounding a de nouveau failli. BM25 seul a fait encore pire et s'est révélé la tentative la plus faible.

Cette série d'essais a produit plusieurs conclusions désagréables mais utiles :

• les bases de connaissances intégrées des grands acteurs ne garantissent pas une bonne citation ;
• le CAG peut répondre avec précision, mais sans rattachement soigné aux pages, il perd sur le score final ;
• le BM25 classique, seul, ne suffit plus pour des questions juridiques complexes ;
• un RAG hybride avec un vrai reranking s'est montré plus fort que les solutions intégrées d'OpenAI et de Grok.

Le système maison, MORAG, n'a lui non plus pas convaincu au départ : un petit Qwen local tenait mal la précision et s'effondrait surtout sur les questions multi-documents. Le déclic est venu avec le passage à Grok via OpenRouter et une sélection de chunks plus stricte. À l'échauffement, l'équipe est passée d'un Total de 0.362 lors des premiers essais à 0.780 à la dernière tentative, et le Grounding est monté d'environ 0.45 à 0.90. Cette progression, plus que le remplacement d'un modèle à la mode par un autre, a été le principal moteur.

Ce qui a vraiment aidé

Les plus gros gains ne sont pas venus d'« améliorations de la qualité » abstraites, mais de quelques décisions d'ingénierie très concrètes. L'équipe a séparé les modes reasoning et non-reasoning selon le type de question, ajouté une boucle agentique avec nouvelle recherche quand les données manquaient, et construit à part un gold set pour vérifier les réponses aux 900 questions. Cela a évité de tirer à l'aveugle en finale et permis de repérer vite des erreurs systématiques, comme l'interprétation erronée de la formulation sur un appel déposé mais rejeté.

• le modèle reasoning a été conservé pour boolean, name et names, où le non-reasoning perdait 8 à 16 % de précision ;
• pour date, number et free_text, le mode non-reasoning, plus rapide, a été utilisé sans baisse notable ;
• les 1 à 3 premières pages des documents cités dans la question ont été ajoutées à la recherche, car les éléments clés de l'affaire s'y trouvent souvent ;
• les résumés et les vecteurs sparse ont été refaits pour le domaine juridique ;
• les chunks ont été raccourcis pour respecter la limite de l'embedder FRIDA, qui tronque tout ce qui dépasse 512 tokens.

En phase finale, MORAG a cédé face au golden submission préparé sur le Total général, 0.603 contre 0.631, mais l'a devancé sur trois des cinq métriques : précision des réponses déterministes, qualité des réponses libres et vitesse. La défaite est de nouveau venue du Grounding. Nuance importante : le système RAG répondait déjà mieux que la référence « manuelle », mais le rattachement technique de la réponse à la bonne page restait en retrait.

Ce que cela signifie

Cette histoire montre que le CAG n'a pas tué le RAG, qu'un Mac Studio convient pour une partie d'un pipeline local, et que les bases toutes faites d'OpenAI et de Grok ne remplacent pas un réglage adapté à un corpus précis. Quand les données sont complexes, ce n'est pas la marque la plus bruyante qui gagne, mais l'équipe qui sait mesurer les erreurs, maîtriser le chunking et amener le Grounding à un état opérationnel.