BeliefWeaver добавил агентам 5,1 п.п. на длинных задачах, 9B-ученик — 9,8

Агент, который час работает в терминале, часто ломается не на последнем шаге. Причина сидит где-то в середине цепочки: неверно выбранная зависимость, пропущенная проверка, испорченный конфиг. Локальная рефлексия и откат на шаг назад такую ошибку не находят. Авторы статьи с Hugging Face Daily Papers предлагают фреймворк BeliefWeaver. На трёх терминальных бенчмарках он поднимает агрегированный итоговый балл на 5,1 процентного пункта относительно нативного продолжения Terminus-2. Дистиллированная в 9B-модель версия дала +9,8 п.п. к заявленному нативному baseline и сократила оценочную стоимость вызовов API учителя на 54,8%.

Память о провалах вместо повторных попыток с нуля

Ключевая идея в том, что опыт неудачных попыток не пропадает между запусками. BeliefWeaver ведёт реляционное состояние убеждений. В нём связаны четыре типа сущностей: фронтиры (направления, которые агент может исследовать дальше), попытки, наблюдения и чекпоинты. Если очередная попытка что-то показала, обновляются приоритеты не только текущего фронтира, но и связанных с ним, причём и между попытками, и при откате. Диагностические данные при этом работают как фильтр: исполнение гейтится ими, и агент не идёт дальше вслепую.

Второй компонент — неявная модель мира (IWM). Она оценивает гипотезы исправления, предсказывает, приведёт ли выбранное направление к прогрессу, и выявляет связи между фронтирами. Агент получает не просто список «что пробовали», а прогноз «куда имеет смысл идти». По словам авторов, это улучшает и эффективность исследования: тренды по этому показателю положительные, хотя в аннотации нет цифр.

Дистилляция в 9B: где экономия

Модель мира на базе большой LLM стоит дорого, потому что каждая оценка гипотезы — это вызов API. Поэтому авторы выделили повторяющиеся компоненты рассуждений IWM и перенесли их в студента на 9 млрд параметров. Использовали supervised fine-tuning и on-policy distillation (OPD). OPD, как правило, означает обучение на траекториях самого студента с оценкой учителя, а не только на готовых примерах. Это снижает разрыв между обучением и реальным запуском.

• Прирост BeliefWeaver над нативным продолжением Terminus-2: +5,1 п.п. агрегированного итогового балла.
• Прирост 9B-студента над заявленным нативным baseline: +9,8 п.п.
• Снижение оценочной стоимости API учителя относительно matched teacher: 54,8%.
• Оценка на трёх терминальных бенчмарках.
• Компоненты обучения: SFT и OPD.

Сравнивать 5,1 и 9,8 напрямую нельзя. Первая цифра получена против нативного продолжения Terminus-2, вторая — против заявленного (reported) нативного baseline. Экономия в 54,8% названа оценочной. Названия бенчмарков, базовая модель студента и абсолютные баллы в аннотации не приведены. Это стоит проверить в полном тексте статьи до того, как делать выводы о воспроизводимости.

Что взять в работу командам, строящим агентов

Даже без самого BeliefWeaver из работы можно забрать несколько инженерных приёмов. Первый: хранить свидетельства о сбоях структурированно и между попытками, а не только в контексте текущего прогона. Второй: сохранять чекпоинты и привязывать к ним наблюдения, чтобы откат мог вернуться к настоящей причине, а не к последнему шагу. Третий: ставить диагностический шлюз перед дорогими или необратимыми действиями. Наконец, если стоимость вызовов сильной модели в цикле критична, имеет смысл проверить дистилляцию узких компонентов рассуждения в небольшую модель. Результат в 9,8 п.п. при почти вдвое меньших затратах на учителя говорит, что это направление рабочее, но подтвердить его надо на собственных задачах.