Harvey : un modèle de jurisprudence américaine personnalisé que les avocats ont préféré à GPT-4 97 % du temps

• Harvey partners with OpenAI to build a custom-trained model for legal professionals — OpenAI (customer story), 2024-04-02
• Harvey raises $80M Series B from Elad Gil, Kleiner Perkins, OpenAI and Sequoia — Harvey (blog), 2023-12-19
• Harvey (software) — Wikipedia (история финансирования и клиентов), 2026

Contexte

Harvey est une plateforme d'AI générative pour les professionnels du droit, de la fiscalité et de la finance, fondée à l'été 2022. Derrière cette plateforme se trouvent deux personnes aux parcours rarement similaires : Winston Weinberg, un avocat spécialisé en droit antitrust et en contentieux des valeurs mobilières, et Gabe Pereyra, un chercheur en IA qui a précédemment travaillé sur les LLMs chez Google Brain et Meta. Leur hypothèse initiale était simple : les LLMs peuvent synthétiser d'énormes volumes d'informations juridiques et les présenter aux avocats pour examen — plutôt que les avocats passent des semaines à trier des documents eux-mêmes. La plateforme aide dans les tâches nécessitant un raisonnement complexe et une connaissance approfondie du domaine : rédaction de documents, réponse aux questions sur des scénarios de contentieux complexes, et identification des divergences matérielles entre des centaines de contrats.

Un prototype précoce a montré le potentiel avant même que le produit n'existe. Weinberg et Pereyra ont extrait 100 questions de propriétaire/locataire du subreddit r/legaladvice de Reddit, généré des réponses avec GPT-3, et les ont montrées à des avocats en exercice. Pour 86 questions sur 100, les avocats ont dit qu'ils auraient envoyé la réponse au client sans modification. « C'a été un moment révélateur », se souvient Weinberg.

À partir de là, l'entreprise a connu une croissance rare dans le secteur du LegalTech. En novembre 2022, un tour de financement de $5M mené par le OpenAI Startup Fund ; en avril 2023, une série A de $23M de Sequoia. Au cours de 2023, les revenus ont augmenté plus de 10 fois et l'équipe a dépassé 100 personnes, et le 19 décembre 2023, Harvey a clôturé une série B de $80M à une valorisation de $715M (co-dirigée par Elad Gil et Kleiner Perkins, avec la participation du OpenAI Startup Fund et de Sequoia), portant le financement total à plus de $100M. Parmi les objectifs déclarés du tour, l'entreprise a explicitement cité l'expansion de sa construction de modèles personnalisés, l'augmentation de l'équipe et le développement de sa suite de fonctionnalités produits. À ce moment, la base de clients comprenait des cabinets juridiques de premier plan, des équipes internes, des prestataires de services professionnels et des sociétés de capital-investissement.

Ce travail est le sujet de cette étude de cas. Harvey, en partenariat avec OpenAI, a construit un modèle entraîné personnalisé pour la jurisprudence américaine — selon la terminologie d'OpenAI, le premier modèle de jurisprudence entraîné personnalisé. OpenAI a publié l'étude de cas le 2 avril 2024, et elle reste l'une des réponses les plus citées à la question de savoir quand une entreprise devrait aller au-delà de RAG vers l'entraînement personnalisé de modèles.

Problème

Le travail juridique continue de croître en volume de données. « Le travail transactionnel et le contentieux deviennent de plus en plus complexes — il pourrait y avoir des centaines de milliers de contrats à examiner pour une fusion internationale, et des millions d'e-mails à examiner pour un contentieux », explique Weinberg. Les associés passent d'innombrables heures sur des tâches complexes mais essentiellement routinières, et le volume ne cesse d'augmenter. Avec l'AI synthétisant des documents, les avocats peuvent passer moins de temps à trier et rédiger des textes juridiques — et plus de temps sur les décisions et les clients.

Mais la recherche en jurisprudence s'est avérée être sa propre catégorie. Harvey a envisagé une expérience où un avocat pourrait coller une question client dans un modèle et obtenir une réponse approfondie citant toutes ses sources. L'équipe a d'abord essayé les techniques évidentes — l'ajustement fin des modèles de base via des APIs publiques et la génération augmentée par la récupération (RAG). Les deux ont atteint les limites d'un cas d'usage exceptionnellement complexe et ouvert. « Si vous faites simplement de la récupération, vous pouvez répondre à des questions très simples sur des domaines du droit dont vous n'êtes pas vraiment expert, mais ce n'est en fait pas très utile pour la plupart des avocats », a expliqué Weinberg. « Avec la recherche en jurisprudence, vous trouvez des munitions pour votre argument, et c'est beaucoup plus difficile. »

Le diagnostic de l'équipe : les modèles de base sont forts en raisonnement mais manquent de connaissances requises pour le travail juridique. La connaissance ne peut pas être mélangée par un récupérateur quand la tâche n'est pas de trouver un fait mais de construire un argument à travers l'ensemble du corpus juridique. L'ajustement fin via les APIs publiques était également insuffisant : pour un cas d'usage exceptionnellement complexe et ouvert, les leviers d'ajustement standard n'étaient pas suffisants. Une exigence distincte était la tolérance zéro pour les cas fictifs : la réduction des hallucinations était l'une des principales motivations de Harvey pour construire un modèle personnalisé, car une réponse sans sources vérifiables est inutilisable dans le vrai travail d'un avocat. Cela a finalisé l'énoncé du problème : ils avaient besoin d'un moyen d'injecter à la fois de nouvelles connaissances et de nouvelles façons de raisonner sur ces connaissances dans le modèle lui-même — plus profond que ce que permettent la récupération ou l'ajustement fin conventionnel.

Solution

Harvey a décidé de construire un modèle entraîné personnalisé avec OpenAI — pas l'ajustement fin via une API publique, mais un travail de recherche conjoint qui injecte de nouvelles connaissances, et de nouvelles façons de raisonner sur ces connaissances, dans un modèle de base. « C'était de la recherche de pointe. Nous avions besoin d'un partenaire disposé à investir des ressources pour essayer quelque chose de nouveau. Nous avons examiné toutes les options, mais nous ne faisions confiance que pour construire un modèle entraîné personnalisé avec OpenAI », dit Pereyra.

Le processus lui-même était catégoriquement itératif et humain. « Aucun de ces problèmes n'a une solution claire », décrit Pereyra. « Beaucoup de cela consistait à s'asseoir ensemble, à faire expliquer par nos avocats comment fonctionne la recherche en jurisprudence, à faire montrer par nos chercheurs ce que nous avions fait, et à apprendre d'OpenAI les leviers dont nous disposions pour aborder le problème. » Ce détail est rare dans les études de cas des fournisseurs : le modèle personnalisé est né non pas d'un ensemble de données mais de la traduction de l'expertise des avocats dans le langage de l'entraînement des modèles.

La mise à l'échelle s'est déroulée comme une échelle. D'abord, la jurisprudence d'un seul État — Delaware : une juridiction compacte, mais disproportionnément importante pour le droit des sociétés américain. Ensuite, l'expansion à l'ensemble du corpus juridique américain. Au total, l'équivalent de 10 milliards de jetons de données a été ajouté au modèle de base. L'ordre de grandeur est important : ceci n'est pas « l'ajustement fin sur quelques milliers d'exemples » mais l'intégration d'un corpus entier de connaissances professionnelles dans le modèle. Il vaut également la peine de noter ce que l'étude de cas ne contient pas : OpenAI utilise la formulation prudente « l'équivalent de 10 milliards de jetons » et ne divulgue ni le modèle de base ni la méthodologie d'entraînement — quels leviers ont finalement été utilisés, combien d'itérations cela a pris. Pour quiconque espère répliquer l'approche, l'étude publique définit une direction mais ne fournit pas de recette.

L'exigence architecturale conçue dès le départ était la vérifiabilité. Le modèle a été construit de sorte que chaque phrase d'une réponse s'appuie sur un cas spécifique cité : l'avocat n'obtient pas « l'opinion » du modèle mais un argument avec des références qui peuvent être vérifiées. Cela s'adresse directement à la plus grande crainte de la profession — les précédents fabriqués dans les documents déposés auprès d'une cour.

Le modèle personnalisé fait partie d'une plateforme plus large : Harvey applique l'AI à la rédaction de documents, à la réponse aux questions sur des scénarios de contentieux complexes, et à l'identification des divergences matérielles entre des centaines de contrats. Les prochaines directions nommées dans l'étude de cas : rédaction de mémoires et de requêtes en haut du modèle de jurisprudence, aide aux avocats à comprendre comment la jurisprudence varie selon les juridictions, et agents — combinaison de plusieurs appels de modèles en une seule sortie de travail pour réduire l'ingénierie des invites et la saisie dont les utilisateurs ont besoin. L'état final que l'entreprise décrit est Harvey en tant que membre de soutien de l'équipe d'un cabinet juridique. « Le volume du travail juridique augmente et les associés passent d'innombrables heures sur des tâches complexes, mais routinières », dit Weinberg. « L'opportunité que nous avons, non seulement avec le droit mais avec tous les services professionnels, est de s'occuper des tâches routinières pour que les professionnels puissent consacrer leur temps aux interactions avec les clients. »

Interrogé sur la façon de construire des produits AI au milieu d'un flux constant de nouveaux modèles, Pereyra donne un conseil qui s'est depuis propagé dans l'industrie : « Ne construisez pas pour les capacités actuelles des modèles d'aujourd'hui — construisez pour où les modèles vont être. Abordez des versions plus complexes des problèmes de sorte que lorsque de meilleures versions des modèles sortent, elles ne soient pas résolues comme un effet secondaire. »

Résultat

Pour tester le modèle, Harvey a invité des avocats de 10 des plus grands cabinets juridiques. On leur a montré les sorties côte à côte du modèle de jurisprudence personnalisé et de GPT-4 pour la même question. « 97 % du temps, les avocats ont préféré la sortie du modèle de jurisprudence », dit Weinberg. « Généralement, c'était parce que c'était une réponse plus longue et plus complète. Cela entrait dans les nuances de ce que la question posait et couvrait plus de jurisprudence pertinente. » La force de la réaction, l'équipe l'admet, les a surpris.

Le deuxième résultat concerne les hallucinations — largement la raison pour laquelle le modèle a été construit : « Non seulement le modèle de jurisprudence n'invente pas de cas, mais chaque phrase est en fait soutenue par le cas qu'elle cite », déclare Weinberg.

Le cadrage compte. Le 97 % est une métrique de préférence, non une mesure de précision juridique formelle : elle montre quelle réponse les avocats choisissent, non combien d'erreurs elle contient. Les tests ont été organisés par Harvey lui-même ; la taille de l'échantillon de questions n'a pas été divulguée ; aucune réplication indépendante n'a été publiée ; et l'étude de cas a été publiée par OpenAI — une partie intéressée dont le produit sous-tend la solution. L'affirmation sans hallucinations est de même une déclaration du fondateur, non le résultat d'un audit indépendant publié.

Analyse éditoriale. Une preuve indirecte que le pari du modèle personnalisé a payé au moins commercialement est la trajectoire de Harvey après l'étude de cas : une série C de $100M à une valorisation de $1,5B (juillet 2024), une série D de $300M à $3B (février 2025), une série E de $300M à $5B (juin 2025), une série F de $160M à $8B (décembre 2025), et un tour de $200M à une valorisation de $11B en mars 2026 ; les revenus de 2025 étaient de $190M (Wikipedia, basé sur les divulgations publiques). Les clients incluent des cabinets comme Paul Weiss et A&O Shearman, où 3 500 avocats ont exécuté environ 40 000 requêtes pendant une période d'essai ; Ashurst a déployé Harvey à l'échelle mondiale, le cabinet singapourien WongPartnership est devenu le premier cabinet d'Asie du Sud-Est à tester le produit, et PwC l'a adopté pour les services juridiques à Singapour. Pour être juste : la croissance de l'entreprise n'isole pas la contribution du modèle personnalisé — Harvey a connu une croissance à travers toute sa gamme de produits, et une valorisation de $11B ne peut pas être attribuée à une seule décision technique.

Une deuxième observation : l'étude a capturé « l'échelle de maturité » du travail avec les LLMs — invites → RAG → ajustement fin → entraînement personnalisé — qui est devenue plus tard du sens commun industriel. Elle montre également comment les baselines vieillissent rapidement : « préféré à GPT-4 97 % du temps » sonnait fort en avril 2024, mais une comparaison par rapport à un modèle longtemps dépassé ne dit rien en soi sur la position de Harvey par rapport aux modèles de pointe d'aujourd'hui.

Leçons

1. RAG n'est pas le plafond : pour les tâches d'experts ouvertes (trouver des arguments, pas des faits) Harvey a atteint les limites de la récupération et s'est tourné vers l'entraînement personnalisé — plus cher, mais un niveau de qualité différent.
2. Un « moment révélateur » est moins cher qu'un pilote : le test sur 100 vraies questions r/legaladvice (86 réponses que les avocats enverraient sans modification) a coûté presque rien mais a donné aux fondateurs une preuve précoce de la demande avant que le produit n'existe.
3. La préférence à 97 % est une métrique forte mais spécifique : elle mesure quelle réponse les avocats choisissent, non la correction formelle ; lors du portage vers votre domaine, prévoyez une vérification d'exactitude distincte.
4. L'architecture anti-hallucination — « chaque phrase soutenue par le cas qu'elle cite » — est un modèle pour tout domaine à tolérance zéro (médecine, conformité, finance).
5. Testez avec les utilisateurs les plus exigeants : les comparaisons côte à côte avec des avocats de 10 cabinets de premier plan donnent des commentaires valides et construisent la confiance des futurs clients en même temps.
6. Commencer par une juridiction étroite (Delaware) et s'étendre à tout le pays est la bonne échelle de mise à l'échelle pour les modèles personnalisés.
7. Le conseil de Pereyra — « construisez pour où les modèles vont être, pas où ils sont » — est une stratégie pratique contre l'obsolescence des produits avec chaque nouvelle version de modèle.

Questions fréquentes