Legora довела долю корректных цитат юридического агента с 70% до 99%

Юридический ИИ сталкивается с неприятным противоречием. Чтобы улучшать агента, разработчикам полезно читать его трассировки: какие документы он открыл, что нашёл, где ошибся и почему выбрал неверный ответ. Но в юридической практике эти данные часто принадлежат не самой фирме, а её клиентам. Команда продукта не может просто заглянуть в очередной договор и разобрать промах вручную.

Legora решает эту проблему с помощью воспроизводимых симуляций. Три инженера и три юриста создают искусственные рабочие среды, похожие на реальные дела клиентов. Один из примеров — хранилище из 10 000 файлов, где агент должен провести проверку перед сделкой, подготовить отчёт и не пропустить существенные риски. Это полезный шаблон далеко за пределами legal tech: если продакшен-данные закрыты, нужно воспроизвести не сами документы, а структуру работы, критерии успеха и характерные ошибки.

Проверка без доступа к документам

Представим сервис, который анализирует тысячи трудовых договоров. Каждая строка — отдельный документ, а столбцы содержат вопросы: срок расторжения, передача интеллектуальных прав, размер компенсации. Запускать обработку сразу на всём массиве дорого и опасно: неудачная формулировка запроса размножит одну ошибку на тысячи ячеек.

Поэтому Tabular Review сначала обрабатывает только 10 строк. Юрист проверяет результат, уточняет запрос и лишь затем запускает оставшиеся документы. Это выглядит почти слишком просто, но именно такой интерфейс превращает эксперимент с моделью в управляемый производственный процесс. Пользователь видит небольшой образец до того, как потратит бюджет и получит миллион потенциально неверных ответов.

Legora оценивает качество отдельно по юридическим практикам и типам задач. Результаты отображаются в виде тепловой карты: новая модель может лучше искать судебные решения, но хуже редактировать договоры. Единого балла здесь недостаточно. Для команды, создающей любого специализированного агента, вывод прямой: сравнивайте модели на конкретных рабочих сценариях, а не по общей репутации или одному усреднённому тесту.

Ошибки нужно превратить в каталог

В продакшене Legora сводит сбои к 10–20 известным типам и запускает недорогие LLM-проверки за флагами функций. Это не гарантирует безошибочность, зато делает качество наблюдаемым. Вместо расплывчатого сообщения «агент иногда ошибается» команда получает конкретную категорию: пропущена оговорка, вывод не подтверждён источником, цитата ведёт не к тому фрагменту или ответ не соответствует требуемому формату.

Особенно показателен механизм цитирования. Каждый вывод агента связан с конкретной областью исходного PDF, чтобы юрист мог открыть подтверждающий фрагмент. По словам технического директора Legora, после одного обновления модели доля корректных цитат выросла примерно с 70% до 99%. Однако этот эпизод показывает и ограничение: часть качества зависит от внешнего поставщика модели и может измениться при следующем релизе. Поэтому проверять нужно каждую новую версию, даже если она считается более сильной.

Что забрать в свой продукт

Не начинайте с выбора «самой умной» модели. Сначала составьте перечень реальных задач, создайте для них закрытый набор проверок и определите допустимые ошибки. Если документы нельзя использовать, соберите синтетические аналоги вместе с отраслевыми специалистами. Проверяйте не только итоговый ответ, но и ссылки на источники, полноту обработки и устойчивость на больших массивах.

Для массовых операций добавьте предварительный запуск на небольшой выборке. Для каждого обновления стройте разрез по задачам: где качество выросло, где упало, сколько стоят дополнительные проценты точности и как изменилась задержка. А известные сбои оформите как отдельные автоматические проверки.

Главная идея Legora не в юридической специализации. Она в том, что конфиденциальность не отменяет измеримость. Если нельзя читать пользовательские трассировки, команде придётся точнее моделировать работу клиента. Это дороже простого просмотра логов, зато создаёт актив, который остаётся внутри компании: собственную систему оценки, каталог ошибок и понятный рубеж качества перед выпуском агента в продакшен.