Метрика Seq@K на 7 бенчмарках и 16 моделях меняет рейтинг ИИ при обратной связи

Исследователи из Columbia Business School и Калифорнийского университета в Санта-Барбаре предложили метрику Seq@K. Она измеряет, решит ли языковая модель задачу не позже K-й попытки, если после каждой неудачи получает обратную связь и может исправить ответ. Авторы прогнали протокол на 7 вариантах бенчмарков и 16 передовых моделях. Вывод: привычный рейтинг по pass@K, где попытки независимы и модель критики не видит, плохо предсказывает, как она поведёт себя в реальном агентном цикле «ответ — замечание — правка».

Чем Seq@K отличается от pass@K

Pass@K считает задачу решённой, если хотя бы один из K независимых ответов прошёл проверку. Каждый кандидат генерируется из одного и того же исходного промпта. В Seq@K каждая следующая попытка видит предыдущие ответы и комментарии к ним. Если попытка успешна, цикл останавливается.

Авторы отдельно подчёркивают, что это не замена агентным бенчмаркам вроде SWE-bench, WebArena или MINT. Там успех зависит от планирования, работы с инструментами и отслеживания состояния. Seq@K изолирует один навык: насколько хорошо модель правит свою работу по замечаниям.

Протокол зависит от режима обратной связи. Их три: только вердикт «прошло/не прошло»; сырая диагностика проверяющей системы (трассировки, упавшие тесты, разбор по пунктам рубрики); критика, которую пишет языковая модель — та же самая или другая, с доступом к рубрике оценки или без него.

Набор задач охватывает код (MBPP Pro и HumanEval Pro), сложное следование инструкциям (AdvancedIF), рассуждения в предметной области (CLBench DKR) и медицинские ответы, оцениваемые по рубрикам (HealthBench).

Рейтинги, выбор модели и цена

Порядок моделей при переходе на Seq@K действительно меняется. На AdvancedIF Sonnet поднимается с последнего места при независимых попытках в верхнюю группу, а на CLBench DKR наблюдаются похожие перестановки.

Авторы проверили практическое следствие на задаче выбора модели. Инженер берёт несколько калибровочных задач, выбирает модель, а потом разворачивает её с последовательной обратной связью на новых задачах. Оказалось, что короткая калибровка по Seq@K выбирает лучшую модель для такого сценария при сопоставимой или меньшей стоимости. Эксперимент шёл на MBPP Pro и HumanEval Pro, где задачи делили на две группы: калибровка на одной, оценка на другой и наоборот. Наибольший выигрыш получился на HumanEval Pro.

Разрыв между моделями тоже зависит от метрики. На AdvancedIF при сырой обратной связи разрыв между лучшей и худшей моделью сокращается. На HumanEval Pro и MBPP Pro он, наоборот, растёт: модели по-разному используют подробности об упавших тестах. Значит, pass@K может как занижать, так и завышать различия между ними.

Есть эффект и для затрат. Последовательные попытки тянут за собой всё больший контекст, зато успех часто наступает раньше. На двух бенчмарках граница Парето (набор вариантов, которые нельзя улучшить по цене без потери качества) у Seq@K лучше, чем у независимых попыток. Сильнее всего это видно на DKR: независимое сэмплирование решает лишь ограниченную долю задач, а последовательная обратная связь поднимается заметно выше. Лучший результат там показал Opus 4.7.

Как модели правят ответы и какая критика работает

Траектории попыток показывают поведение, которого не видно в итоговом проценте. Одни модели выигрывают на первой повторной попытке, другие — на поздних. Часть моделей игнорирует замечания и присылает тот же ответ без изменений. А правка, которая закрывает все замечания, может сломать требования, выполнявшиеся раньше.

Качество самой обратной связи тоже оказалось переменной. Польза информативной критики зависит и от бенчмарка, и от способности модели. Критика, написанная с учётом рубрики оценки, помогает исправить гораздо больше проваленных требований. Если же сжимать историю предыдущих попыток в краткое резюме, доля успехов может падать, поэтому способ хранения истории авторы советуют указывать рядом с результатом Seq@K.

Ограничения

Seq@K предполагает привилегированную обратную связь: критик или верификатор знает правильный ответ либо критерии оценки. Так бывает, когда пользователь объясняет агенту, что именно не так, но в автономных сценариях без проверяющего эта метрика не воспроизводится. Кроме того, значение Seq@K определено только вместе с режимом обратной связи, верификатором, параметрами декодирования и бюджетом попыток, так что сравнивать числа из разных конфигураций нельзя.

Практический вывод для команд, которые строят агентов: если продукт работает в цикле правок, модель стоит калибровать в этом же цикле. Саму обратную связь нужно проектировать и тестировать отдельно, как часть системы.