Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизКод / SDK · В работуMicrosoft Research→ оригинал

Плагин TokenEconomizer снизил расходы ИИ-агентов для кода на 18,4–30,9% без смены модели

Кодинг-агент работает в одном репозитории неделями, но каждую сессию начинает с нуля: снова ищет, как запускать тесты, и тащит ненужные инструменты. Плагин TokenEconomizer читает логи прошлых сессий и подсказывает агенту выученное. На 277 багфиксах из SWE-Bench стоимость задачи упала на 18,4–30,9%. Для команд в постоянных репозиториях это экономия без смены агента.

AI-обработка оригинала Microsoft Research; редакция Hamidun News
Плагин TokenEconomizer снизил расходы ИИ-агентов для кода на 18,4–30,9% без смены модели
Источник: Microsoft Research. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникMicrosoft Research ↗
Главный редактор
Ключевой факт #1Из 23 описаний инструментов на каждом ходу агент не вызывал 16
Ключевой факт #2Провальные 17% задач съедали 32% расходов — плагин ловит зацикливание
Ключевой факт #3К шестой задаче суммарные затраты в каждом репозитории ниже, чем без плагина

Если вы гоняете Claude Code или другого кодинг-агента по одному и тому же репозиторию, то наверняка замечали: каждая новая сессия начинается так, будто агент видит проект впервые. Он снова выясняет, как запускать тесты, снова читает те же файлы и снова наступает на прежние грабли, а каждый такой круг оплачивается токенами, то есть деньгами. Исследователи из UC Berkeley, Microsoft Research и Microsoft Security выпустили открытый плагин TokenEconomizer: он разбирает завершённые сессии и подсказывает агенту выученное в следующих.

На 277 реальных багфиксах средняя стоимость задачи упала на 18,4–30,9%, то есть примерно на пятую–треть счёта за токены. При этом сам агент и его модель остаются прежними, а доля решённых задач в целом не просела. Если ваша команда годами работает в нескольких одних и тех же репозиториях, часть счёта уходит на то, что агент уже знал вчера.

Куда уходят токены

Сначала авторы выяснили, на что тратится бюджет. Они прогнали Claude Code по 60 задачам из SWE-Bench (это набор реальных багфиксов в открытых Python-проектах), выполняя задачи каждого репозитория подряд. Нашлось три источника расточительства.

Первый: агент заново выясняет уже известное. Когда в репозитории накопилось хотя бы пять завершённых задач, 30% вызовов инструментов повторяли действие из прошлой задачи в том же репозитории. Из истории другого репозитория совпадало лишь 7%. Значит, опыт полезен именно локально, а не вообще.

Второй: оплата неиспользуемых инструментов. На каждом ходу агенту отправляли 23 описания инструментов, а вызывались только 7. Остальные 16 просто раздували запрос.

Третий: застревание. Неудачные 17% задач съели 32% расходов: агент крутится вокруг одной и той же ошибки, а токены тратятся.

Ещё авторы проверили три популярных открытых плагина для экономии, у каждого из которых зашита фиксированная стратегия. Каждый где-то снижал расходы, а где-то нет. Вывод: единого рецепта нет, экономия должна подстраиваться под конкретный репозиторий.

Как это работает

После каждой сессии TokenEconomizer читает лог и обновляет знания о репозитории. Дальше работают три механизма, причём все через интерфейсы, которые у агента уже есть.

  • Микронавыки. Короткие однострочные заметки вроде «тесты здесь запускаются так-то». Заметка попадает в стартовый контекст только после того, как несколько сессий подтвердили закономерность. Если позже появляются противоречащие данные, заметку снимают.
  • Обрезка инструментов. Плагин убирает инструменты, которые по истории репозитория агенту, скорее всего, не понадобятся. Базовые (запуск команд и правка файлов) остаются всегда, а удалённые можно вернуть.
  • Вмешательство при зацикливании. Отдельная модель-судья решает, действительно ли агент застрял или всё ещё продвигается. Если застрял, ему отправляют короткую подсказку попробовать другой подход. Если и после неё ничего не меняется, плагин в открытой версии не обрывает работу сам, а предупреждает разработчика.

Плагин не требует собственного API-ключа и хранит выученное на машине разработчика. Заявленная экономия уже учитывает стоимость его собственных вызовов модели.

Что показали замеры

Проверка шла на 277 задачах SWE-Bench из шести репозиториев с пятью комбинациями агента и модели. В каждом репозитории плагин стартовал без истории. Средняя стоимость задачи упала на 18,4–30,9%, а Pass@1 (доля задач, решённых с первой попытки) выросла в четырёх из пяти комбинаций. Среди подходов без потери качества плагин сэкономил больше всех во всех 30 парах «репозиторий — комбинация». Для сравнения: простое снижение глубины рассуждений модели экономило столько же или больше, но заметно ухудшало результат.

Экономия копится постепенно. Первые задачи могут стоить даже дороже, пока плагин учится, но к шестой задаче суммарные затраты ниже базовых в каждом репозитории. Каждый из трёх механизмов даёт выигрыш и по отдельности, а вместе они дают максимум.

Эффект сохранился и вне багфиксов. На Web-Bench, где идёт последовательная веб-разработка, затраты снизились на 16,0–21,2%. На аудите безопасности, где каждая задача проходит в новом репозитории и накопленного опыта нет, всё равно получилось на 6,4–19,6% дешевле.

Что с этим делать

Плагин ставится рядом с привычным агентом, поэтому попробовать его недорого. Оговорки при этом есть. Это исследовательский проект, а основные цифры получены на бенчмарках с Python-багфиксами, которые отличаются от рабочих кодовых баз. Выигрыш заметен не с первой задачи, а после накопления истории, так что для разовых экспериментов он мало что даст. Прежде чем внедрять плагин в команде, стоит замерить расходы на своём репозитории до и после.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: куда уходят токены?

Сначала авторы выяснили, на что тратится бюджет. Они прогнали Claude Code по 60 задачам из SWE-Bench (это набор реальных багфиксов в открытых Python-проектах), выполняя задачи каждого репозитория подряд. Нашлось три источника расточительства. Первый: агент заново выясняет уже известное. Когда в репозитории накопилось хотя бы пять завершённых задач, 30% вызовов инструментов повторяли действие из прошлой задачи в том же репозитории. Из истории другого репозитория совпадало лишь 7%.

Что известно по теме: как это работает?

После каждой сессии TokenEconomizer читает лог и обновляет знания о репозитории. Дальше работают три механизма, причём все через интерфейсы, которые у агента уже есть. Микронавыки. Короткие однострочные заметки вроде «тесты здесь запускаются так-то». Заметка попадает в стартовый контекст только после того, как несколько сессий подтвердили закономерность. Если позже появляются противоречащие данные, заметку снимают. Обрезка инструментов.

Что известно по теме: что показали замеры?

Проверка шла на 277 задачах SWE-Bench из шести репозиториев с пятью комбинациями агента и модели. В каждом репозитории плагин стартовал без истории. Средняя стоимость задачи упала на 18,4–30,9%, а Pass@1 (доля задач, решённых с первой попытки) выросла в четырёх из пяти комбинаций. Среди подходов без потери качества плагин сэкономил больше всех во всех 30 парах «репозиторий — комбинация». Для сравнения: простое снижение глубины рассуждений модели экономило столько же или больше, но заметно ухудшало результат.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…