Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизРазбор · На радарX: @SemiAnalysis_→ оригинал

1,8% запросов мимо кэша съели 15% счёта за Opus 5.5 у SemiAnalysis

SemiAnalysis проверила счёт за Opus 5.5: лишь 1,8% запросов прошли без кэша, то есть модель заново читала весь контекст по полной цене, но на них ушло около 15% расходов. Чаще всего так стартовали новые субагенты: у них нет готового кэша, как у новичка, которому пересказывают весь проект. Ещё 12% сессий после простоя дольше часа заплатили около $3 за возобновление. Вывод для команд с агентами: долю запросов без кэша надо считать отдельно.

AI-обработка оригинала X: @SemiAnalysis_; редакция Hamidun News
1,8% запросов мимо кэша съели 15% счёта за Opus 5.5 у SemiAnalysis
Источник: X: @SemiAnalysis_. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @SemiAnalysis_ ↗
Главный редактор
Ключевой факт #11,8% запросов без кэша дали около 15% всех трат на Opus 5.5
Ключевой факт #2Чаще всего это новые субагенты, стартующие с нуля без кэша
Ключевой факт #312% сессий после простоя дольше часа заплатили около $3 за возобновление

Аналитическая компания SemiAnalysis, которая занимается инфраструктурой ИИ, заглянула в собственный счёт за модель Opus 5.5 и нашла перекос. Только 1,8% запросов прошли «без кэша»: провайдеру пришлось заново обрабатывать весь контекст, а не брать уже прочитанную часть по сниженной цене. Но именно эта крошечная доля дала около 15% всех трат на Opus 5.5. Проще говоря, примерно один запрос из пятидесяти пяти стоил почти седьмую часть счёта. Если вы запускаете кодинг-агентов, у вас, скорее всего, происходит то же самое, просто вы этого пока не замеряли.

Что такое «запрос без кэша» на живом примере

Кэш промпта работает как закладка в книге. Допустим, агент работает с репозиторием: в начале запроса лежат инструкция, файлы проекта и история команд. Если начало запроса совпадает с предыдущим, провайдер не пересчитывает его и берёт эту часть дешевле. Если закладки нет, весь накопленный контекст оплачивается заново. В агентных задачах контекст бывает большим, поэтому каждый такой промах заметно бьёт по бюджету.

Откуда берутся дорогие промахи

SemiAnalysis называет две причины.

Первая — новые субагенты. По словам аналитиков, большинство запросов без кэша приходилось на субагентов, которые начинали работу с нуля. Основной агент порождает помощника, и тому приходится получать всю вводную заново, как новому сотруднику, которому в первый день рассказывают про весь проект. Много коротких субагентов означает много таких «первых дней», и каждый оплачивается.

Вторая — простои. По данным SemiAnalysis, 12% сессий возобновлялись после паузы дольше часа и платили около $3 за то, чтобы заново прочитать контекст. Разработчик ушёл на обед, вернулся и продолжил в той же сессии. Для него это одна и та же задача, а для счёта почти новый запуск, потому что сохранённый кэш к этому времени уже не работает.

Оговорка: $3 за одно возобновление — небольшая сумма. Проблема в масштабе, когда такие возобновления случаются в каждой десятой сессии у многих людей. Кроме того, цифры относятся к одной компании и одной модели, так что у вашей команды пропорции будут другими.

Что делать на практике

Во-первых, измеряйте долю запросов без кэша отдельно, а не только общий расход токенов. Среднее скрывает редкие, но дорогие промахи: 1,8% трафика на графике почти не видно, хотя за ними стоит около 15% расходов.

Во-вторых, разберите, кто их порождает. Заведите в мониторинге список сессий и субагентов с наибольшим числом запросов без кэша. Если основную долю дают субагенты, стоит проверить, нужен ли каждый из них, или задачу можно выполнить в уже работающем контексте.

В-третьих, учитывайте паузы. Если люди часто возвращаются в сессию после долгого перерыва, имеет смысл перед возобновлением сжать историю до краткого резюме, а не заново отправлять весь прежний контекст.

В-четвёртых, делайте начало промптов у субагентов одинаковым. Общую инструкцию и контекст проекта лучше держать одним и тем же блоком в одном порядке. Это общее правило работы кэша, а не вывод из поста SemiAnalysis: любое изменение в начале запроса, например временная метка, может сделать запрос «холодным».

Главный урок для основателей и продактов: стоимость агента определяется не только ценой токена, но и тем, как часто вы платите за один и тот же контекст повторно. Это управляемый параметр архитектуры наравне с выбором модели. Пост SemiAnalysis — часть серии (3/4), но уже по этой части видно, с чего начинать оптимизацию: с доли запросов без кэша и тех субагентов, которые её создают.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что такое «запрос без кэша» на живом примере?

Кэш промпта работает как закладка в книге. Допустим, агент работает с репозиторием: в начале запроса лежат инструкция, файлы проекта и история команд. Если начало запроса совпадает с предыдущим, провайдер не пересчитывает его и берёт эту часть дешевле. Если закладки нет, весь накопленный контекст оплачивается заново. В агентных задачах контекст бывает большим, поэтому каждый такой промах заметно бьёт по бюджету.

Что известно по теме: откуда берутся дорогие промахи?

SemiAnalysis называет две причины. Первая — новые субагенты. По словам аналитиков, большинство запросов без кэша приходилось на субагентов, которые начинали работу с нуля. Основной агент порождает помощника, и тому приходится получать всю вводную заново, как новому сотруднику, которому в первый день рассказывают про весь проект. Много коротких субагентов означает много таких «первых дней», и каждый оплачивается. Вторая — простои.

Что известно по теме: что делать на практике?

Во-первых, измеряйте долю запросов без кэша отдельно, а не только общий расход токенов. Среднее скрывает редкие, но дорогие промахи: 1,8% трафика на графике почти не видно, хотя за ними стоит около 15% расходов. Во-вторых, разберите, кто их порождает. Заведите в мониторинге список сессий и субагентов с наибольшим числом запросов без кэша. Если основную долю дают субагенты, стоит проверить, нужен ли каждый из них, или задачу можно выполнить в уже работающем контексте. В-третьих, учитывайте паузы.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…