Harvey: кастомная модель по прецедентному праву США — юристы предпочли её GPT-4 в 97% случаев

• Harvey partners with OpenAI to build a custom-trained model for legal professionals — OpenAI (customer story), 2024-04-02
• Harvey raises $80M Series B from Elad Gil, Kleiner Perkins, OpenAI and Sequoia — Harvey (blog), 2023-12-19
• Harvey (software) — Wikipedia (история финансирования и клиентов), 2026

Контекст

Harvey — платформа генеративного ИИ для профессионалов в праве, налогах и финансах, основанная летом 2022 года. За проектом стоят два человека с редко пересекающимися биографиями: Уинстон Вайнберг, юрист с опытом антимонопольных и биржевых споров, и Гейб Перейра, ИИ-исследователь, до этого занимавшийся большими языковыми моделями в Google Brain и Meta. Их исходная гипотеза была простой: LLM могут синтезировать огромные массивы юридической информации и подавать её юристам на проверку — вместо того чтобы юристы сами неделями перелопачивали документы. Платформа помогает с задачами, требующими сложного рассуждения и глубоких предметных знаний: составлением документов, ответами на вопросы по сложным судебным сценариям, поиском существенных расхождений между сотнями контрактов.

Ранний прототип показал потенциал ещё до появления продукта. Вайнберг и Перейра взяли 100 вопросов арендаторов и арендодателей с Reddit r/legaladvice, сгенерировали ответы через GPT-3 и показали их практикующим юристам. В 86 случаях из 100 юристы сказали, что отправили бы ответ клиенту без правок. «Это был aha-момент», — вспоминает Вайнберг.

Дальше компания росла с редкой для LegalTech скоростью. В ноябре 2022 года — посевной раунд на $5 млн во главе с OpenAI Startup Fund, в апреле 2023-го — раунд A на $23 млн от Sequoia. За 2023 год выручка выросла более чем в 10 раз, команда — до 100+ человек, а 19 декабря 2023 года Harvey закрыла раунд B на $80 млн при оценке $715 млн (со-лиды — Элад Гил и Kleiner Perkins, с участием OpenAI Startup Fund и Sequoia), доведя общий объём привлечённых инвестиций до более чем $100 млн. Среди заявленных целей раунда компания прямо называла расширение работы над кастомными моделями, масштабирование команды и достройку продуктовой линейки. Клиентская база к тому моменту включала ведущие юридические фирмы, инхаус-команды, провайдеров профессиональных услуг и private-equity-фирмы.

Именно эта работа — предмет кейса. Harvey в партнёрстве с OpenAI построила кастомно обученную модель по прецедентному праву США — по формулировке OpenAI, первую custom-trained case law model. Кейс опубликован OpenAI 2 апреля 2024 года и с тех пор остаётся одним из самых цитируемых ответов на вопрос, когда компании стоит идти дальше RAG — в кастомное обучение моделей.

Проблема

Юридическая работа неуклонно растёт в объёме данных. «И транзакционная работа, и судебные споры становятся всё сложнее: для международного слияния может потребоваться просмотреть сотни тысяч контрактов, а для судебного процесса — миллионы писем», — объясняет Вайнберг. Ассоциаты проводят бесчисленные часы над сложными, но по сути рутинными задачами, и этот объём только увеличивается. С помощью ИИ, синтезирующего документы, юристы могут тратить меньше времени на просеивание и составление юридических текстов — и больше на решения и работу с клиентами.

Но исследование прецедентного права оказалось особой категорией. Harvey представляла себе такой опыт: юрист вставляет вопрос клиента в модель, а та отвечает исчерпывающе и цитирует все источники. Команда сначала попробовала очевидные техники — файн-тюнинг фундаментальных моделей через публичные API и retrieval-augmented generation (RAG). Обе упёрлись в ограничения уникально сложного, открытого сценария. «Если просто делать retrieval, можно отвечать на очень простые вопросы в областях права, где ты не эксперт, но для большинства юристов это не так уж полезно, — объясняет Вайнберг. — В исследовании прецедентного права ты ищешь боеприпасы для своей аргументации, а это гораздо сложнее».

Диагноз команды: фундаментальные модели сильны в рассуждении, но им не хватает знаний, необходимых для юридической работы. Знание нельзя «подмешать» ретривером, если задача — не найти факт, а построить аргументацию по всему корпусу права. Файн-тюнинг через публичные API тоже не дотягивал: для уникально сложного и открытого сценария стандартных рычагов настройки оказалось недостаточно. Отдельное требование — нулевая терпимость к выдуманным делам: снижение галлюцинаций было одной из главных мотиваций Harvey для создания кастомной модели, потому что ответ без проверяемых источников юристу в реальной работе применить нельзя. Так задача сформулировалась окончательно: нужен способ внедрить в саму модель и новые знания, и новые способы рассуждения об этих знаниях — глубже, чем позволяют и retrieval, и обычное дообучение.

Решение

Harvey решила строить кастомно обученную модель вместе с OpenAI — не файн-тюнинг через публичный API, а совместную исследовательскую работу, позволяющую внедрять в базовую модель новые знания и способы рассуждения о них. «Это было исследование на переднем крае. Нам нужен был партнёр, готовый вложить ресурсы в то, чего никто не делал. Мы рассмотрели все варианты, но строить кастомно обученную модель доверили только OpenAI», — говорит Перейра.

Сам процесс был подчёркнуто итеративным и «человеческим». «Ни у одной из этих проблем нет готового решения, — описывает Перейра. — Большая часть работы — сидеть вместе: наши юристы объясняли, как устроено исследование прецедентного права, наши исследователи показывали, что мы уже сделали, а у OpenAI мы учились тому, какие рычаги у нас есть для подхода к проблеме». Это редкая в вендорских кейсах деталь: кастомная модель рождалась не из датасета, а из перевода экспертизы юристов на язык обучения моделей.

Масштабирование шло лестницей. Сначала — прецедентное право одного штата, Делавэра: юрисдикция компактная, но непропорционально важная для корпоративного права США. Затем — расширение на весь массив прецедентного права Соединённых Штатов. Суммарно в базовую модель добавили эквивалент 10 миллиардов токенов данных. Порядок цифры важен: это не «дообучение на паре тысяч примеров», а внедрение в модель целого корпуса профессионального знания. Стоит отметить и то, чего в кейсе нет: OpenAI использует осторожную формулировку «эквивалент 10 млрд токенов» и не раскрывает ни базовую модель, ни детали методики обучения — какие рычаги в итоге применялись, сколько итераций потребовалось. Для тех, кто захочет воспроизвести подход, это означает, что публичный кейс задаёт направление, но не даёт рецепта.

Архитектурное требование, заложенное с самого начала, — проверяемость. Модель проектировалась так, чтобы каждое предложение ответа опиралось на конкретное цитируемое дело: юрист получает не «мнение» модели, а аргументацию со ссылками, которую можно проверить. Это прямой ответ на главный страх профессии — выдуманные прецеденты в документах, поданных в суд.

Кастомная модель — часть более широкой платформы: Harvey применяет ИИ к составлению документов, вопросам по сложным судебным сценариям и поиску существенных расхождений между сотнями контрактов. Следующие направления, названные в кейсе: составление процессуальных документов (briefs и motions) на базе модели прецедентного права, помощь юристам в понимании того, как прецеденты различаются между юрисдикциями, и агенты — объединение нескольких вызовов модели в один рабочий результат, чтобы сократить объём промпт-инжиниринга и ручного ввода для пользователя. Конечная картинка, которую описывает компания, — Harvey как «поддерживающий член команды» юрфирмы. «Объём юридической работы растёт, и ассоциаты проводят бесчисленные часы над сложными, но рутинными задачами, — говорит Вайнберг. — Возможность, которая у нас есть — не только в праве, но во всех профессиональных услугах, — забрать рутинные задачи, чтобы профессионалы могли посвятить время взаимодействию с клиентами».

На вопрос, как строить ИИ-продукты в условиях постоянного выхода новых моделей, Перейра отвечает советом, который с тех пор разошёлся по индустрии: «Не стройте под текущие возможности моделей — стройте под то, где модели будут. Берите более сложные версии задач, чтобы выход лучших моделей не решал их как побочный эффект».

Результат

Для проверки модели Harvey привлекла юристов из 10 крупнейших юридических фирм. Им показывали бок о бок ответы кастомной модели прецедентного права и GPT-4 на один и тот же вопрос. «В 97% случаев юристы предпочитали ответ модели прецедентного права, — говорит Вайнберг. — Обычно потому, что это был более длинный и полный ответ: он углублялся в нюансы вопроса и покрывал больше релевантных прецедентов». Сам масштаб реакции, по признанию команды, стал для неё неожиданностью.

Второй результат — по галлюцинациям, ради которых модель во многом и строилась: «Модель не только не выдумывает дела — каждое предложение реально подкреплено делом, которое она цитирует», — утверждает Вайнберг.

Рамки, которые важно видеть. 97% — метрика предпочтения (preference), а не формальной юридической точности: она показывает, какой ответ юристы выбирают, а не сколько в нём ошибок. Тестирование организовывал сам Harvey; численность выборки вопросов не раскрыта; независимой репликации теста не публиковалось; кейс опубликован OpenAI — заинтересованной стороной, чей продукт лежит в основе решения. Утверждение об отсутствии галлюцинаций — тоже заявление основателя, а не результат опубликованного независимого аудита.

Редакционный анализ. Косвенным подтверждением того, что ставка на кастомные модели сработала как минимум коммерчески, служит траектория Harvey после публикации кейса: раунд C на $100 млн при оценке $1,5 млрд (июль 2024), D на $300 млн при $3 млрд (февраль 2025), E на $300 млн при $5 млрд (июнь 2025), F на $160 млн при $8 млрд (декабрь 2025) и раунд на $200 млн при оценке $11 млрд в марте 2026 года; выручка за 2025 год — $190 млн (данные Wikipedia по публичным раскрытиям). Среди клиентов — фирмы уровня Paul Weiss и A&O Shearman, где во время пробного периода 3 500 юристов сделали около 40 000 запросов; Ashurst раскатала Harvey глобально, сингапурская WongPartnership стала первой фирмой Юго-Восточной Азии, тестировавшей продукт, а PwC внедрила его в юруслугах в Сингапуре. При этом честно признать: рост компании не изолирует вклад именно кастомной модели — Harvey росла на всей продуктовой линейке, и приписать оценку в $11 млрд одному техническому решению нельзя.

Второе наблюдение: кейс зафиксировал «лестницу зрелости» работы с LLM — промптинг → RAG → файн-тюнинг → кастомное обучение, — которая позже стала общим местом в индустрии. И он же показывает, как быстро устаревают бейзлайны: «в 97% случаев лучше GPT-4» звучало сильно в апреле 2024-го, но сравнение с давно превзойдённой моделью само по себе уже ничего не говорит о положении Harvey относительно сегодняшних фронтирных моделей.

Уроки для индустрии

1. RAG — не потолок: для открытых экспертных задач (поиск аргументов, а не фактов) Harvey упёрся в пределы retrieval и пошёл в кастомное обучение — это дороже, но качественно другой уровень.
2. «Aha-момент» дешевле пилота: тест на 100 реальных вопросах с r/legaladvice (86 ответов юристы отправили бы без правок) почти ничего не стоил, но дал основателям раннее доказательство спроса ещё до продукта.
3. 97% предпочтений — сильная, но специфическая метрика: она меряет, какой ответ юристы выбирают, а не формальную правильность; при переносе на свой домен закладывайте отдельную проверку точности.
4. Анти-галлюцинационная архитектура «каждое предложение подкреплено цитируемым делом» — образец для любых доменов с нулевой терпимостью к вымыслу (медицина, комплаенс, финансы).
5. Тестируйте на самых требовательных пользователях: side-by-side с юристами 10 крупнейших фирм даёт валидную обратную связь и одновременно строит доверие будущих клиентов.
6. Начинать с узкой юрисдикции (Делавэр) и расширяться до всей страны — правильная лестница масштабирования кастомных моделей.
7. Совет Перейры «стройте под то, где модели будут, а не где они сейчас» — практическая стратегия против устаревания продукта при каждом новом релизе моделей.

Частые вопросы