Legora a fait passer le taux de citations correctes de son agent juridique de 70 % à 99 %

Une IA juridique se heurte à une contradiction délicate. Pour améliorer un agent, les développeurs gagneraient à consulter ses traces d’exécution : quels documents il a ouverts, ce qu’il a trouvé, où il s’est trompé et pourquoi il a choisi une mauvaise réponse. Mais, dans la pratique juridique, ces données appartiennent souvent non pas au cabinet lui-même, mais à ses clients. L’équipe produit ne peut pas simplement ouvrir le contrat concerné et analyser manuellement l’échec.

Legora résout ce problème au moyen de simulations reproductibles. Trois ingénieurs et trois juristes créent des environnements de travail artificiels qui ressemblent à de véritables dossiers clients. Un exemple est un dépôt de 10 000 fichiers dans lequel l’agent doit mener un audit préalable à une transaction, préparer un rapport et ne manquer aucun risque important. Cette méthode est utile bien au-delà de la legal tech : lorsque les données de production sont fermées, il faut reproduire non pas les documents eux-mêmes, mais la structure du travail, les critères de réussite et les erreurs caractéristiques.

Évaluer sans accéder aux documents

Imaginons un service qui analyse des milliers de contrats de travail. Chaque ligne correspond à un document distinct, tandis que les colonnes contiennent des questions : délai de résiliation, cession des droits de propriété intellectuelle, montant de l’indemnisation. Lancer immédiatement le traitement sur l’ensemble du corpus est coûteux et risqué : une requête mal formulée multipliera une même erreur dans des milliers de cellules.

C’est pourquoi Tabular Review ne traite d’abord que 10 lignes. Le juriste vérifie le résultat, affine la requête, puis lance seulement le traitement des documents restants. Cela paraît presque trop simple, mais c’est précisément cette interface qui transforme une expérimentation avec un modèle en processus de production maîtrisé. L’utilisateur voit un petit échantillon avant de dépenser son budget et de recevoir un million de réponses potentiellement erronées.

Legora évalue séparément la qualité selon les pratiques juridiques et les types de tâches. Les résultats prennent la forme d’une carte thermique : un nouveau modèle peut mieux rechercher les décisions de justice, mais moins bien réviser les contrats. Une note unique ne suffit pas. Pour toute équipe qui développe un agent spécialisé, la conclusion est claire : comparez les modèles sur des scénarios de travail précis, et non selon leur réputation générale ou un seul benchmark agrégé.

Transformer les erreurs en catalogue

En production, Legora ramène les défaillances à 10 à 20 types connus et exécute, derrière des feature flags, des contrôles peu coûteux fondés sur des LLM. Cela ne garantit pas l’absence totale d’erreurs, mais rend la qualité observable. Au lieu du vague constat « l’agent se trompe parfois », l’équipe obtient une catégorie précise : une réserve a été omise, la conclusion n’est pas étayée par la source, la citation pointe vers le mauvais passage ou la réponse ne respecte pas le format demandé.

Le mécanisme de citation est particulièrement révélateur. Chaque conclusion de l’agent est reliée à une zone précise du PDF source, afin que le juriste puisse ouvrir le passage justificatif. Selon le directeur technique de Legora, après une mise à jour du modèle, le taux de citations correctes est passé d’environ 70 % à 99 %. Mais cet épisode révèle également une limite : une partie de la qualité dépend du fournisseur externe du modèle et peut changer lors de la version suivante. Chaque nouvelle version doit donc être évaluée, même si elle est réputée plus performante.

Ce qu’il faut intégrer à votre produit

Ne commencez pas par choisir le modèle « le plus intelligent ». Dressez d’abord la liste des tâches réelles, créez pour elles un ensemble privé d’évaluations et définissez les erreurs acceptables. Si les documents ne peuvent pas être utilisés, construisez des équivalents synthétiques avec des spécialistes du secteur. Évaluez non seulement la réponse finale, mais aussi les références aux sources, l’exhaustivité du traitement et la robustesse sur de grands corpus.

Pour les opérations de masse, ajoutez une exécution préalable sur un petit échantillon. Pour chaque mise à jour, ventilez les résultats par tâche : où la qualité a progressé, où elle a reculé, combien coûtent les points de précision supplémentaires et comment la latence a évolué. Transformez enfin les défaillances connues en contrôles automatisés distincts.

L’idée principale de Legora ne tient pas à sa spécialisation juridique. Elle tient au fait que la confidentialité n’empêche pas la mesure. S’il est impossible de lire les traces d’exécution des utilisateurs, l’équipe doit modéliser plus précisément le travail du client. Cette démarche coûte plus cher qu’une simple consultation des journaux, mais elle crée un actif qui reste dans l’entreprise : son propre système d’évaluation, un catalogue d’erreurs et un seuil de qualité clair avant le déploiement de l’agent en production.