Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
РелизAPI / Продукт · В работуHabr AI→ оригинал

План добавил слабой модели 11,6 п.п. решённых задач, а сильной хватило терминала

Одну и ту же модель разные ИИ-помощники для кода запускают по-разному: с планом или без, с набором инструментов или одним терминалом. Исследователи проверили 176 таких конфигураций. Слабой Nemotron-3 30B план добавил 11,6 п.п. решённых багов на SWE-Bench, а сильной 550B один терминал дал +3,6 п.п. и удешевил задачу на 53%. Значит, обвязку нужно подбирать под модель.

AI-обработка оригинала Habr AI; редакция Hamidun News
План добавил слабой модели 11,6 п.п. решённых задач, а сильной хватило терминала
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Без управления контекстом при окне 32 тыс. токенов терялось 78,7% задач
Ключевой факт #2Заглушки плюс пересказ по двум порогам вышли самыми дешёвыми при той же точности
Ключевой факт #3Возврат удалённого текста почти не вызывали: в половине конфигураций ни разу

Вы наверняка замечали, что одна и та же модель в одном ИИ-помощнике для кода чинит баги, а в другом спотыкается на простой задаче. Дело не всегда в модели. Вокруг неё работает программная оболочка, «обвязка» (по-английски harness): она решает, составляет ли агент план, какими инструментами трогает файлы и терминал и что делает, когда переписка перестаёт помещаться в контекстное окно.

Исследователи проверили, сколько это даёт на практике. Слабой модели Nemotron-3 на 30 млрд параметров план добавил 11,6 процентного пункта (п.п.)

решённых задач на SWE-Bench, наборе из 500 реальных багов в Python-репозиториях. Для наглядности: если бы без плана она решала 30% задач, то с планом решала бы 41,6%. А сильной модели на 550 млрд параметров, наоборот, оказалось выгоднее работать с одним терминалом вместо восьми готовых инструментов: точность выросла на 3,6 п.

п., а стоимость задачи упала на 53%.

Как проверяли

Обычно обвязки сравнивают, запуская готовые продукты на одних задачах. Тогда непонятно, что именно дало разницу. Здесь авторы взяли простой цикл ReAct (модель рассуждает, действует, смотрит на результат и повторяет) и меняли только три компонента.

Первый — планирование. У модели есть инструмент update_plan: список шагов, где в каждый момент только один шаг текущий, а остальные выполнены или предстоят. Модель видит только свежую версию плана, старые черновики контекст не занимают.

Второй — набор действий. В полном варианте восемь инструментов: чтение, создание и точечная правка файлов, просмотр папок, поиск по именам и по тексту кода, терминал и загрузка веб-страниц. В урезанном остаётся только терминал.

Третий — управление контекстом, пять вариантов. Первый ничего не делает. Остальные заменяют старые результаты инструментов короткой заглушкой (текст пропадает насовсем или его можно вернуть), пересказывают старую историю той же моделью или совмещают оба приёма. В комбинированном варианте дешёвые заглушки включаются на мягком пороге заполнения окна, а дорогой пересказ только на жёстком.

Модели: Nemotron-3 на 30, 120 и 550 млрд параметров и Mistral-Medium-3.5-128B из другой линейки. Задачи: 500 багов SWE-Bench Verified и 89 заданий командной строки Terminal-Bench 2.1. Окно от 32 до 128 тысяч токенов, всего 176 конфигураций.

Контекст, пересказ и «возврат» текста

Без управления контекстом при окне в 32 тысячи токенов в среднем терялось 78,7% задач на SWE-Bench: переписка упиралась в предел, и запуск обрывался с ошибкой. При 128 тысячах потери составляли 8,7%. На Terminal-Bench они снизились с 61% до 12%. С любым управлением контекстом не терялось ни одной задачи. Манера работы агента при этом почти не менялась: он просто успевал дойти до проверки.

Заглушки и пересказ дали близкую точность, но разную цену. Заглушка заменяет уже готовый текст, а пересказ требует отдельного платного вызова модели. Поэтому выгоднее всего оказался гибрид с двумя порогами: при сопоставимой точности он был самым дешёвым почти во всех сочетаниях.

Идея «дать модели вернуть удалённый результат» не сработала. Больше чем в половине конфигураций с таким инструментом его не вызвали ни разу. Самая слабая модель использовала его активнее, больше четырёх раз за задачу на Terminal-Bench при окне 32 тысячи токенов, но результат был на 3,4 п.п. ниже, чем у заглушек без возврата. В среднем разница не дотягивала до половины пункта.

Слабым моделям нужны подсказки, сильным они мешают

Для Nemotron-3 30B план оказался условием хоть какого-то результата. Без него типичная траектория на SWE-Bench сокращалась с 40 до 5 ходов, и больше двух третей запусков заканчивались без единой правки кода. С планом таких запусков было 27,8%. В 58,4% запусков без плана модель так и не вышла за поиск нужного места в коде, с планом таких было 10,4%. Итог: +11,6 п.п. на SWE-Bench и +4,5 п.п. на Terminal-Bench, хотя работа стала длиннее и дороже. Когда этой модели оставили один терминал, она продолжала вызывать несуществующие инструменты. На Terminal-Bench из-за этого обрывались две трети запусков, а точность упала на 15 п.п. на SWE-Bench и на 10 п.п. на Terminal-Bench.

У Nemotron-3 550B и Mistral план почти не менял точность, но цена на SWE-Bench падала примерно на 30%: исчезали в основном проверки после правки, то есть модель реже перепроверяла готовое решение. У 550B один терминал поднял точность на 3,6 п.п. на SWE-Bench и на 5,6 п.п. на Terminal-Bench, а стоимость снизил на 53% и 30%. Модель собирала несколько операций в одну команду и реже правила один файл по кускам: 1,5 правки на задачу вместо 4,6.

У Mistral всё зависело от типа задач. На SWE-Bench без готовых инструментов она потеряла 23,2 п.п., а треть запусков (32,8%) закончилась без единой правки, против 1,2% с полным набором. На Terminal-Bench один терминал, напротив, дал +6,7 п.п.: такие задачи и так решаются командами. Nemotron-3 120B вела себя неровно: стабильного выигрыша от плана не было, готовые инструменты дали +1,6 п.п. на SWE-Bench и +4,5 п.п. на Terminal-Bench.

Что делать на практике

  • При небольшом окне (до 64 тысяч токенов) включайте управление контекстом, лучше гибрид из заглушек и пересказа.
  • Слабой модели давайте план и полный набор инструментов.
  • Для сильной модели проверьте урезанную обвязку: без плана и с одним терминалом. Это может сэкономить до трети бюджета без потери качества.
  • Механизм возврата удалённой истории можно не делать.
  • Если задачи завязаны на структуру репозитория, файловые инструменты полезны. Если всё решается через shell, они могут мешать лишним выбором.

Ограничения

Каждую конфигурацию прогнали один раз, а Terminal-Bench невелик, поэтому многие различия там статистически незначимы. План и инструменты проверяли только при одной стратегии контекста и самом большом окне. SWE-Bench состоит из задач на Python, а размер модели лишь грубо отражает её способности. Вывод простой: универсальной обвязки нет, её подбирают под пару «модель и тип задач» и замеряют на своих данных.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как проверяли?

Обычно обвязки сравнивают, запуская готовые продукты на одних задачах. Тогда непонятно, что именно дало разницу. Здесь авторы взяли простой цикл ReAct (модель рассуждает, действует, смотрит на результат и повторяет) и меняли только три компонента. Первый — планирование. У модели есть инструмент update_plan: список шагов, где в каждый момент только один шаг текущий, а остальные выполнены или предстоят. Модель видит только свежую версию плана, старые черновики контекст не занимают. Второй — набор действий.

Что известно по теме: контекст, пересказ и «возврат» текста?

Без управления контекстом при окне в 32 тысячи токенов в среднем терялось 78,7% задач на SWE-Bench: переписка упиралась в предел, и запуск обрывался с ошибкой. При 128 тысячах потери составляли 8,7%. На Terminal-Bench они снизились с 61% до 12%. С любым управлением контекстом не терялось ни одной задачи. Манера работы агента при этом почти не менялась: он просто успевал дойти до проверки. Заглушки и пересказ дали близкую точность, но разную цену.

Что известно по теме: слабым моделям нужны подсказки, сильным они мешают?

Для Nemotron-3 30B план оказался условием хоть какого-то результата. Без него типичная траектория на SWE-Bench сокращалась с 40 до 5 ходов, и больше двух третей запусков заканчивались без единой правки кода. С планом таких запусков было 27,8%. В 58,4% запусков без плана модель так и не вышла за поиск нужного места в коде, с планом таких было 10,4%. Итог: +11,6 п.п. на SWE-Bench и +4,5 п.п. на Terminal-Bench, хотя работа стала длиннее и дороже.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…