RiseHarness учит терминальных агентов чинить собственную обвязку без дообучения

Терминальный агент может решить задачу с первой попытки и провалить её со второй, хотя модель, промпт и конфигурация остались прежними. Именно эту нестабильность атакует RiseHarness: фреймворк из статьи, попавшей в Hugging Face Daily Papers, итеративно переписывает обвязку агента (harness) при полностью замороженных весах модели. В аннотации авторы не приводят численных результатов, так что оценивать приходится сам подход. Он при этом довольно предметный.

Разрыв между «умеет» и «делает надёжно»

Исходная посылка простая. В длинных задачах в терминале каждое действие агента меняет контекст, а контекст влияет на следующее действие. Случайная ошибка на раннем шаге расползается по всей траектории. В итоге одна и та же задача в одной и той же конфигурации в одном прогоне завершается успехом, а в другом нет. Авторы называют это разрывом между возможностями и надёжным исполнением.

Поэтому RiseHarness не гонится за задачами, которые модель не решает никогда. Его интересуют «переворачивающиеся» задачи (flipping tasks), где среди прогонов есть и успешные, и провальные. Успешный запуск становится эталоном, с которым сравнивают неудачный. Так легче отделить системную проблему обвязки от невезения.

Как устроен цикл

В анализ идут два типа данных: траектории агента и внутренние трассы рантайм-монитора. Вторые показывают, как действия модели взаимодействуют с выполнением команд, обратной связью, управлением контекстом и решением о завершении задачи. Эти места чаще всего ломаются на длинной дистанции.

Чтобы связать наблюдения с реальным кодом, используется Harness Handbook. Он сопоставляет свидетельства из прогонов с поведением обвязки и её исходниками. Это помогает находить повторяющиеся проблемы в механизмах, общих для многих задач, а не латать отдельные кейсы.

Дальше интереснее. RiseHarness ищет в других агентных фреймворках релевантные реализации и адаптирует их как дизайн-референсы под конкретную модель и протокол исполнения. Кандидатные правки проходят поведенческие проверки и повторную оценку на задачах. Версии с измеримым приростом становятся основой для следующей итерации. В результате в одной обвязке собираются подходящие механизмы из разных проектов, а свежие данные о запусках направляют следующие изменения.

Что известно о методе

• Веса модели не меняются, оптимизируется только обвязка.
• Единица адаптации — конкретная модель, а не абстрактный «агент вообще».
• Приоритет получают задачи со смешанными исходами при одинаковой конфигурации.
• Источники сигнала: траектории агента и трассы рантайм-монитора.
• Правки принимаются только после поведенческих проверок и повторных прогонов.
• Оценка: успех и надёжность на разных моделях, абляции по трассам исполнения и внешнему ресёрчу, перенос на незнакомые бенчмарки с той же моделью.

Последний пункт важен. Улучшения обвязки легко переобучить под набор задач, на котором их подбирали. Проверка на неизвестных бенчмарках с той же моделью показывает, нашёл ли метод общие механизмы взаимодействия или просто подогнал поведение. Конкретные цифры по этим тестам в аннотации отсутствуют, поэтому читать нужно полный текст статьи.

Что можно взять в работу

Командам, которые строят кодинг- и терминальных агентов, полезны три вещи. Во-первых, мерить стабильность, а не только pass@1: прогоняйте каждую задачу несколько раз и отдельно отслеживайте те, что дают смешанные результаты. Во-вторых, логируйте внутренние события обвязки наравне с действиями модели. Без трасс исполнения, обратной связи и решений о завершении разбор провала превращается в гадание. В-третьих, при смене модели пересматривайте обвязку: по логике авторов, механизмы, которые хорошо работали с одной моделью, не обязаны подходить другой.

Ограничения тоже видны. Метод требует много повторных прогонов, то есть вычислительного бюджета, и зависит от качества монитора. Насколько хорошо адаптированные «заимствованные» механизмы уживаются друг с другом, покажут абляции в полном тексте. Но сама идея выглядит практичной: часть ненадёжности агентов сидит в обвязке, и её можно чинить инженерно, не трогая веса.