Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Три утилиты «экономии токенов» подняли счёт за ИИ-агентов на 18–46%

Разработчик два месяца экономил токены агентов через rtk, Headroom и ripwire, а потом сверил счёт в долларах: на 30 задачах SWE-bench он вырос на 18%, на реальных сессиях — на 46%. Причина в кэше промпта: на него уходит 92% счёта, а сжатие его не экономит. Даже вопрос «доделал?» утром, когда кэш остыл за ночь, обошёлся дороже разбора всего проекта. Смотрите на счёт провайдера, а не на счётчик токенов.

AI-обработка оригинала Habr AI; редакция Hamidun News
Три утилиты «экономии токенов» подняли счёт за ИИ-агентов на 18–46%
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1rtk не сжал ни одного из 3 452 вызовов, а ripwire агент не вызвал ни разу
Ключевой факт #2Чтение из кэша дешевле записи в 20–40 раз, а живёт кэш около часа
Ключевой факт #3«доделал?» стоил 606 тыс. единиц против 471 тыс. за разбор проекта

Разработчик, который делает десктопное приложение Tobari для запуска ИИ-агентов вроде Claude Code и Codex, два месяца пользовался тремя популярными утилитами для экономии токенов — rtk, Headroom и ripwire. Панель «сэкономлено» показывала красивые цифры. Но когда он сверил реальный счёт в долларах, оказалось, что расходы выросли.

На тестовом стенде из 30 задач SWE-bench (это набор реальных задач по исправлению багов в open-source-проектах) счёт с тремя утилитами вырос на 18%, а на повторе его настоящих рабочих сессий — на 46%. Представьте, что вы сжали вывод git status с одиннадцати строк до трёх и радуетесь, а на деле платите больше, потому что из-за этого ломается кэш, который делал основную часть работы дешёвой. Если вы подключаете к агентам «оптимизаторы», проверяйте их по счёту провайдера, а не по их собственным счётчикам.

Зачем вообще экономить

Поводом стала неразбериха с лимитами. OpenAI и Anthropic постоянно меняют лимиты в подписках и официально не публикуют объёмы. В сентябре Anthropic урезал недельные лимиты Claude Code, но подал это как повышение на 25%. До этого полгода действовал временный бонус +50%, и в уточнении компания сама признала итоговое сокращение на 17%. 29 сентября OpenAI выпустила подписку Pro 500 за $500 и в тот же день вдвое урезала лимиты Pro 200 для новых подписчиков. 22 октября SemiAnalysis измерила два аккаунта Claude Max 20x за $200: у одного пятичасовое окно оказалось на 19% больше, зато недельный бюджет на 20% меньше.

Три инструмента и что с ними пошло не так

Все три пытаются положить в контекст меньше байтов, но вмешиваются в разных местах.

rtk работает в шелле: перехватывает вывод команд и отдаёт модели сжатую версию. У него 84 тысячи звёзд на GitHub, а в описании обещано сокращение токенов на 60–90%. За всё время rtk не сжал ни одного вызова из 3 452. В README висела таблица «118 тысяч токенов → 24 тысячи», но это были оценки, а не замер. 22 июля, в день выхода замера JetBrains, авторы удалили таблицу. В описании коммита они написали, что rtk сокращает байты вывода bash, а не расходы.

Headroom (77 тысяч звёзд) стоит прокси между агентом и API и сжимает JSON, логи и старые выводы. Одну сессию автора он сделал дороже в 2,4 раза.

ripwire не сжимает ничего, а даёт агенту инструменты получше: вместо «прочитать файл на 800 строк» — «покажи функцию и кто её вызывает». Но агент не вызвал его ни разу.

Почему токены — не то, за что вы платите

Автор разобрал одну сессию Claude Code на Opus 5.5. Его запрос «Изучи проект от и до» занял около 15 токенов, а контекст за ход вырос с 39,5 до 167,5 тысячи. Три четверти — файлы и вывод команд, которые агент сам притащил из репозитория, ещё четверть — стартовый контекст. Сам агент «наговорил» меньше 3%.

Модель между запросами ничего не помнит, поэтому агент каждый раз отправляет ей весь диалог заново. Чтобы написать ответ на 2 317 токенов, он отправил 167 тысяч токенов 19 раз. Всего за ход получилось 2,19 миллиона токенов — в 13 раз больше самого диалога. Медианный запрос автора к модели — 335 тысяч токенов, а в средней сессии их около сорока.

Спасает кэш промпта. Если запрос начинается с тех же байтов, что и предыдущий, этот кусок читается из кэша. Один и тот же токен контекста (в расчёте на Sonnet) стоит то ×0,1, то ×2, разница в 20 раз, а у Opus 5.5 чтение ещё дешевле — ×0,05, то есть в 40 раз. Весь ход «Изучи проект» обошёлся в 471 тысячу единиц с кэшем против 2,22 миллиона без него.

Кэш живёт около часа. Автор закончил вечером на планировании, а утром, через 8 с лишним часов, написал одно слово: «доделал?». Контекст пришлось записать заново — 293 582 токена по цене записи. Это стоило 606 тысяч единиц, больше всех 19 запросов разбора проекта. При тёплом кэше вышло бы около 34 тысяч, в 18 раз дешевле. Сжиматель токенов тут бы не помог: в реплике было пара токенов.

По реальному счёту автора за 146 сессий и 35,5 тысячи запросов за два с небольшим месяца 92% стоимости — кэш промпта. Ещё 42% всего счёта ушло на перестройку контекста, который уже лежал в кэше, но протух или сломался; 26% из них — после пауз больше часа. Кэш ломается тихо: ошибок нет, агент отвечает так же хорошо, просто счёт растёт. Единственный честный сигнал — доля входа, прочитанная из кэша. У голого Claude Code она около 98%.

Что делать на практике

  • Считайте деньги по счёту провайдера, а не по панелям самих инструментов.
  • Следите за долей входа из кэша: каждый процент вниз стоит дорого.
  • Помните, что возвращение к остывшей сессии после часа паузы может стоить как большой разбор проекта.
  • Не верьте обещаниям вроде «минус 60–90% токенов» без методики и замера на живом агенте.

Это опыт одного разработчика и его набора агентов, но дело в самой ценовой модели кэша, а не в конкретном проекте.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: зачем вообще экономить?

Поводом стала неразбериха с лимитами. OpenAI и Anthropic постоянно меняют лимиты в подписках и официально не публикуют объёмы. В сентябре Anthropic урезал недельные лимиты Claude Code, но подал это как повышение на 25%. До этого полгода действовал временный бонус +50%, и в уточнении компания сама признала итоговое сокращение на 17%. 29 сентября OpenAI выпустила подписку Pro 500 за $500 и в тот же день вдвое урезала лимиты Pro 200 для новых подписчиков.

Что известно по теме: три инструмента и что с ними пошло не так?

Все три пытаются положить в контекст меньше байтов, но вмешиваются в разных местах. rtk работает в шелле: перехватывает вывод команд и отдаёт модели сжатую версию. У него 84 тысячи звёзд на GitHub, а в описании обещано сокращение токенов на 60–90%. За всё время rtk не сжал ни одного вызова из 3 452. В README висела таблица «118 тысяч токенов → 24 тысячи», но это были оценки, а не замер. 22 июля, в день выхода замера JetBrains, авторы удалили таблицу.

Что известно по теме: почему токены — не то, за что вы платите?

Автор разобрал одну сессию Claude Code на Opus 5.5. Его запрос «Изучи проект от и до» занял около 15 токенов, а контекст за ход вырос с 39,5 до 167,5 тысячи. Три четверти — файлы и вывод команд, которые агент сам притащил из репозитория, ещё четверть — стартовый контекст. Сам агент «наговорил» меньше 3%. Модель между запросами ничего не помнит, поэтому агент каждый раз отправляет ей весь диалог заново. Чтобы написать ответ на 2 317 токенов, он отправил 167 тысяч токенов 19 раз.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…