ReplayRCA: правка на последнем шаге лишает сильную модель 17,1 пункта причинного исправления

Когда агент на языковой модели проваливает многошаговую задачу, разбираться в причинах всё чаще поручают другой модели. Авторы бенчмарка ReplayRCA предлагают проверять такой диагноз не сверкой с человеческой разметкой, а последствиями. Среду возвращают к состоянию перед выбранным шагом, действие агента заменяют на предложенное диагностом, и тот же агент дальше действует самостоятельно. Главная метрика — причинное исправление: доля успешных продолжений после правки минус доля успешных продолжений в контрольном прогоне, где воспроизводится исходное действие агента (парное плацебо). Именно в этих пунктах измеряется и главный результат: если заставить сильную модель вмешиваться только на последнем шаге, она теряет 17,1 пункта причинного исправления.

Как отделить диагноз от удачи

Плацебо нужно, чтобы не засчитывать диагносту то, что агент и так получил бы со второй попытки. Из оценки вычитаются шанс самостоятельно оправиться, эффект перезапуска и шум семплирования. Модель-судья и аннотаторы в подсчёте не участвуют: истиной служит сам повтор.

У подхода есть причина. Существующие бенчмарки атрибуции сбоев сравнивают ответ с меткой, а метка спорна: «решающий шаг» — оценка аннотатора, и другая, но столь же удачная точка исправления считается ошибкой. Кроме того, по работе Naagarajan и Streif (2026), ответ «всегда последний шаг» верен в 67–96% случаев на существующих наборах и падает почти до случайного уровня лишь на сбоях, чей решающий шаг подтверждается повтором.

Задачи берутся из OpsWorld — детерминированной, процедурно генерируемой среды бэк-офиса с 15 инструментами, тремя семействами задач и шестью уровнями сложности. Последний уровень мультимодальный: QR-коды, фотографии форм и рукописный текст. Экземпляры создаются из seed, поэтому свежие задачи можно генерировать заново, что ограничивает запоминание опубликованных, а каждое восстановление состояния проверяется.

Что показали 13 моделей

На 62 откалиброванных системных сбоях лучший результат у Grok 4.7. Однако ни одна из 78 попарных разниц не выдерживает поправку на множественные сравнения, поэтому наблюдаемый порядок нельзя считать надёжной иерархией. Флагманы двух крупнейших вендоров, GPT-6 Astra и Claude Fable 5.1, оказались на 8-м и 12-м местах. Авторы оговаривают: модели Claude запускались ниже максимального уровня рассуждения, и абляция показывает, что для Claude Haiku 5.5 это стоит 15,2 пункта. Пять задач не исправила ни одна модель.

Структурный приём «всегда последний шаг», который доминирует в бенчмарках на разметке, здесь не переносится: принудительное вмешательство на последнем шаге обходится сильной модели в упомянутые 17,1 пункта.

Объяснять сбой и предотвращать его — разные навыки

Вторая дорожка — живой надзор. Супервизор следит за прогоном по мере его развития и может один раз вмешаться перед необратимым действием, не зная, провалится ли прогон. В выборку подмешаны и успешные запуски, чтобы измерять ложные тревоги. Это постановка масштабируемого надзора и контроля ИИ, но применённая к честным ошибкам, а не к враждебным агентам, и оцениваемая по последствиям.

На 87 прогонах два лучших супервизора статистически неразличимы, и один из них — малая открытая модель DeepSeek V4.1 Flash. GPT-6.1 Sol входит в число лучших диагностов постфактум, но как живой супервизор оказалась слабейшей. У неё самый большой разрыв между «объяснить» и «предотвратить» на одних и тех же прогонах. Вывод авторов: качество разбора после сбоя может плохо предсказывать качество контроля в реальном времени.

Ограничения и новизна

Контрфактический повтор сам по себе не нов: его используют CausalFlow, REFLECT, SymTrace и другие работы, но как способ проверки собственных решений. В ReplayRCA повтор — правило оценки для любой модели-диагноста, причём каждый балл считается относительно плацебо на том же шаге, а одни и те же сбои служат и для разбора постфактум, и для живого надзора.

Опубликованные экземпляры и структура генератора остаются «выучиваемыми». Возможность перегенерировать пул по мере роста агентов авторы обсуждают, но проверить пока не смогли. Сами авторы предлагают ReplayRCA как повторно используемый протокол, а не как рейтинг: среда и код оценки опубликованы на GitHub. Практический вывод для команд, строящих надзор за агентами: выбирать супервизора по качеству разборов постфактум рискованно, его стоит проверять на живых прогонах со смесью успешных и провальных запусков.