Harvey LAB-AA v1.1: Grok 4.7 лидирует с 9,4% после проверки на галлюцинации

Artificial Analysis вместе с юридической ИИ-компанией Harvey обновила бенчмарк Harvey LAB-AA до версии 1.1 и изменила главное правило подсчёта: задача засчитывается, только если выполнены все критерии рубрики и в документах нет существенных галлюцинаций. На 120 закрытых юридических задачах лидирует Grok 4.7 (xhigh) с показателем 9,4%. Это заметно ниже цифр, которые модели получали без галлюцинационного фильтра. Более 60% формально успешных результатов у протестированных моделей содержат существенную выдумку, а у нескольких моделей итог после проверки равен нулю.

Как устроена проверка

Задачи собрала команда Harvey. Они охватывают M&A, рынки капитала, налоги, судебные споры и банкротства. Модель работает как агент и сдаёт готовые документы. Затем каждый документ проверяется на соответствие исходным материалам дела в два этапа. Сначала судья помечает подозрительные фрагменты по трём категориям: противоречие источникам, выдуманное содержимое источника и конкретное утверждение, которому нет подтверждения в материалах. Затем тот же судья перепроверяет каждую пометку по всем документам задачи, отклоняет необоснованные и делит оставшиеся на существенные и незначительные.

Пример существенной ошибки из методологии: модель в налоговой задаче записала долг как «заём на $220 млн плюс облигации на $214 млн». На деле это начальный и конечный остаток одного займа после погашения $6 млн. Арифметическая неточность в пропорциональном расчёте отнесена к незначительным и на оценку не влияет. Общеизвестное право и судебная практика вне файлов дела не считаются галлюцинацией, поэтому модели не штрафуются за обращение к законам и прецедентам.

Критерии рубрики теперь оценивает панель из трёх LLM-судей: GPT-6 Sol, Grok 4.7 и Claude Opus 5.5. Вердикты усредняются. В версии 1.0 судья был один. Авторы проверили панель на предвзятость к собственным семействам моделей и нашли её минимальной. Сам галлюцинационный аудит выполняет GPT-6 Sol (high).

Кто и где просел

Лидеры по метрике Hallucination-Gated All-Pass Rate:

• Grok 4.7 (xhigh): 9,4%
• Muse Spark 1.3 (max): 8,9%
• GPT-6 Astra (max): 8,6%
• GPT-6.1 Sol (max): 6,9%
• Claude Fable 5.1 (max, с fallback): 6,4%
• Kimi K3 (max): 5,3%
• Claude Opus 5.5 (max, с fallback): 4,2%

Модели Claude запускались с включённым fallback от Anthropic, но ни разу им не воспользовались.

Больше всего фильтр изменил картину для Muse Spark 1.3. Без него модель уверенно лидировала с 26,7% полных проходов, но две трети этих проходов содержат существенную галлюцинацию. Она же набирает рекордные 96,0% пройденных критериев, но в среднем делает 1,68 существенной галлюцинации на задачу. GPT-6 Astra сохранила почти все успехи (8,9% до фильтра, 8,6% после) и поднялась с совместного 10-го места на 3-е. У неё в среднем 0,03 существенной галлюцинации на задачу, то есть 4 случая на все 120 задач. У GPT-6 Sol показатель 0,07 (8 случаев). Антирекорд у Gemini 3.8 Flash: 13,96 на задачу. Каждая open-weights модель делает не менее 2,09 существенной галлюцинации на задачу.

Критерии рубрики большинство моделей выполняет хорошо: 16 моделей проходят от 85,6% до 96,0% критериев. Умение закрыть чек-лист и умение не выдумывать оказываются разными навыками. Склонность к галлюцинациям, по данным авторов, зависит от модели гораздо сильнее, чем от практики права.

Оговорки и практический вывод

Результаты v1.1 нельзя сравнивать с опубликованными ранее числами v1.0. Изменились метрика, панель судей и датасет (теперь Harvey v1.1.0). Кроме того, это независимая реализация, а не оригинальный тест Harvey. Модели запускаются на агентной обвязке Stirrup с компактификацией контекста, без кастомных инструментов Harvey и скриптов генерации pptx и docx, только с простым исполнением кода. Имя файла результата должно совпадать точно, без нечёткого сопоставления.

Строгость выбора судьи заслуживает отдельного внимания. В тесте на 20 задачах и 8 моделях GPT-6 Sol подтвердил 470 существенных галлюцинаций, Grok 4.7 — 219, Opus 5.5 — 99, Sonnet 5.5 — 57. Все шесть кандидатов в судьи не нашли существенных ошибок у GPT-6 Astra, а у GPT-6 Sol насчитали от 0 до 0,20 на задачу. Ранжирование моделей устойчиво, но абсолютные цифры зависят от строгости судьи. Тот факт, что аудитор из семейства GPT-6 оценивает и модели GPT-6, стоит держать в уме при чтении таблицы.

Для юридических команд вывод простой. Процент выполненных критериев мало говорит о надёжности агента. Результат «16 из 20 пунктов закрыто» не страшен, если в документе нет выдуманной даты или суммы. При выборе модели для договорной и налоговой работы стоит смотреть на число существенных галлюцинаций на задачу и оставлять сверку с исходными документами обязательной. Авторы обещают в следующих версиях учесть и то, что юристы ценят помимо точности, например стиль и тон документов.