Как разработчик сократил расход токенов AI-агента на 4,6 млн в день: разбор утечки

Разработчик на Хабре опубликовал разбор реального расхода токенов AI-агента и обнаружил: основная часть бюджета уходит не на полезную работу, а на фоновые служебные процессы. Скорректировав настройки этих задач, он сократил потребление примерно на 4,6 млн токенов в сутки.

Где на самом деле утекают токены

Интуиция подсказывает, что токены уходят туда, где агент решает трудные задачи: пишет код, анализирует сайты, управляет браузером, разбирает логи. Задача сложная, модель думает, инструменты дёргаются, контекст растёт — кажется, всё логично.

Но разбор реальных данных показывает другую картину. Главный потребитель бюджета — не сложные задачи, а служебные процессы, которые работают в фоне постоянно:

• Cron-задачи — регулярные запуски независимо от того, есть реальная работа или нет
• Диагностика и статусные запросы — агент постоянно выясняет своё состояние, даже когда ничего не происходит
• Избыточные списки инструментов — в контекст загружаются десятки инструментов «на всякий случай», хотя большинство задач требуют лишь трёх-пяти
• Мониторинговые проверки — постоянные пинги работоспособности, включая периоды полного простоя

Парадокс в том, что агент исправно выполняет свою работу с точки зрения кода: делает проверки, держит инструменты под рукой, выполняет расписание. Только вот ни одно из этих действий не создаёт ценности для пользователя — зато каждое пополняет счёт. Счётчик токенов уже крутится, пока пользователь ещё не прислал ни одного запроса.

Почему эту утечку так сложно заметить

Автор описывает ситуацию точной аналогией: представьте мастера, которого вызвали поменять одну розетку. Прежде чем взяться за инструменты, он разгружает из газели весь строительный рынок, два перфоратора и бетономешалку — а счёт выставляет за всё время, включая разгрузку.

Каждый отдельный фоновый запрос кажется дешёвым: диагностический пинг — несколько десятков токенов, cron-проверка раз в минуту — тоже немного. Но в масштабе суток, при нескольких параллельных процессах, суммарный эффект оказывается огромным — сопоставимым с тысячами реальных пользовательских взаимодействий.

Проблема усугубляется стандартным подходом к проектированию агентных систем: всё потенциально полезное загружается в контекст заранее, инструменты прикрепляются пакетами, мониторинг работает непрерывно. На этапе разработки и отладки это оправданно. В продакшне превращается в постоянную и предсказуемую дыру в бюджете. Именно поэтому проблема не бросается в глаза при первом взгляде на расходы: дашборд показывает сумму, но не объясняет, откуда берётся большая её часть.

Что даёт аудит фоновых процессов

Разработчик выявил конкретные точки утечки, скорректировал настройки фоновых задач и сократил расход примерно на 4,6 млн токенов в сутки. Важно: это результат только на фоновых задачах — без каких-либо изменений в логике основной работы агента.

Оптимизация AI-агентов начинается не с качества промптов и не с выбора модели. Значительная часть реального бюджета определяется архитектурными решениями — частотой фоновых запусков, составом инструментов в контексте, логикой мониторинга. Именно здесь часто лежат самые быстрые и измеримые возможности для экономии. Подобный аудит особенно важен при масштабировании: рост числа агентов или задач кратно умножает фоновый расход, даже если основная логика остаётся неизменной.

Что это значит

Прежде чем оптимизировать качество ответов агента, стоит проверить, сколько токенов уходит до того, как он начинает работать. Аудит фоновых задач — не разовая мера, а стандартная часть поддержки агентных систем в продакшне.