Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарAWS Machine Learning Blog→ оригинал

AWS: кэш промптов снизил стоимость входных токенов ИИ-агента на 62%

Агент на каждом шаге заново отправляет модели все инструменты, инструкции и историю, и вы платите за эти токены снова. AWS показал на OpenAI-моделях в Bedrock, как кэш запоминает неизменное начало запроса и берёт за него долю цены. В тесте на шесть ходов с GPT-6 Astra стоимость входных токенов упала примерно на 62% против работы без кэша. Поэтому ставьте инструменты и инструкции в начало промпта, а дату и ID запроса — в конец.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AWS: кэш промптов снизил стоимость входных токенов ИИ-агента на 62%
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Кэшируется префикс от 1024 токенов, в примерах он живёт 30 минут
Ключевой факт #2Явные скользящие метки сэкономили около 61% на той же модели
Ключевой факт #3Префикс около 4000 токенов записался как 4120 и потом читался из кэша

Представьте, что ваш ИИ-агент каждое утро просыпается, как герой «Дня сурка», и ничего не помнит. Так и есть: у модели нет памяти между запросами. На каждом шаге (вызвать инструмент, прочитать результат, решить, что делать дальше) агент заново отправляет ей всю предысторию: описания инструментов, инструкции, каждый прошлый вызов и каждый результат. К двадцатому ходу кодингового сеанса модель перечитывает ходы с первого по девятнадцатый, а вы платите за каждый из этих входных токенов снова и снова. AWS в своём блоге показал, как это лечится кэшем промптов на OpenAI-моделях в Amazon Bedrock. В шестиходовом тесте на GPT-6 Astra стоимость входных токенов получилась примерно на 62% ниже, чем без кэша.

Как работает кэш и что в него класть

Перед ответом модель обрабатывает весь входной текст и строит из него рабочее состояние: набор ключей и значений (KV). Кэш сохраняет это состояние. Если следующий запрос начинается с тех же токенов, сервис загружает сохранённое и считает только новый хвост. За прочитанное из кэша токены стоят заметно дешевле обычных.

Запрос агента состоит из четырёх частей: список инструментов, инструкции разработчика, история сеанса и новый ход. Первые две меняются только с релизом, история растёт, последняя часть каждый раз разная. Отсюда практическое правило: всё стабильное идёт в начало, всё переменное (дата, имя пользователя, ID запроса) — после кэшируемых инструкций. Кэш срабатывает только при точном совпадении текста, поэтому инструменты нужно сериализовать одинаково при каждом запросе, в том числе когда они приходят с MCP-серверов.

Режимов два. В неявном Bedrock сам решает, где кончается переиспользуемое начало запроса. В явном вы ставите метку prompt_cache_breakpoint там, где хотите закончить сохранение. AWS советует сочетать оба: явная метка после инструкций создаёт общую стартовую точку для разных сессий и вспомогательных агентов, а неявный режим сам кэширует растущий диалог. Нужно учесть минимальный размер: кэшируемый префикс должен быть не короче 1024 токенов. В примерах время жизни кэша 30 минут, а параметр prompt_cache_key говорит сервису, какие запросы должны делить один кэш. Параметр store=False хранение ответов отключает, но кэширование не выключает: история остаётся в вашем приложении.

Цифры из теста

В одном из тестов префикс из инструментов и инструкций занимал около 4000 токенов. При первом запросе записалось 4120 токенов, при следующих те же 4120 токенов читались из кэша. Задача пользователя стоит после границы кэша, поэтому новая запись из-за неё не создаётся.

На шестиходовой нагрузке GPT-6 Astra показала лучший результат неявного режима: входная стоимость примерно на 62% ниже, чем без кэша. Явные скользящие метки дали около 61% на той же модели. В обоих случаях кэш переиспользовал всё больше истории по мере роста диалога. AWS сразу оговаривается: это цифры конкретной нагрузки, экономию своего агента нужно мерить самому. В ответе API для этого есть счётчики cached_tokens и cache_write_tokens.

Типичные ошибки и что делать

Первая ошибка касается только явного режима. Если оставить одну статичную метку, инструменты и инструкции закэшируются, но растущая история будет обрабатываться заново на каждом ходу. Вторая: двигать единственную метку вперёд. Тогда кэш может не переиспользоваться, поэтому метки прошлых ходов лучше оставлять в истории. Третья связана с неявным режимом и меняющейся задачей. Новая задача не совпадает со старым префиксом, и без явной метки после общих инструкций короткий общий префикс отдельной записью не сохранится.

Есть и ограничение: цифры в статье получены на одной модели и одной шестиходовой нагрузке. У агента с длинными ответами инструментов или частыми правками промпта экономия будет другой.

Что делать разработчику агентов. Во-первых, наведите порядок в промпте: стабильное в начало, переменное в конец, одинаковая сериализация инструментов. Во-вторых, используйте обе схемы вместе: явную метку после инструкций и неявный режим для истории. В-третьих, сразу логируйте долю токенов, прочитанных из кэша. Если она низкая, где-то в начале запроса меняется текст, и вы переплачиваете за каждый ход.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как работает кэш и что в него класть?

Перед ответом модель обрабатывает весь входной текст и строит из него рабочее состояние: набор ключей и значений (KV). Кэш сохраняет это состояние. Если следующий запрос начинается с тех же токенов, сервис загружает сохранённое и считает только новый хвост. За прочитанное из кэша токены стоят заметно дешевле обычных. Запрос агента состоит из четырёх частей: список инструментов, инструкции разработчика, история сеанса и новый ход.

Что известно по теме: цифры из теста?

В одном из тестов префикс из инструментов и инструкций занимал около 4000 токенов. При первом запросе записалось 4120 токенов, при следующих те же 4120 токенов читались из кэша. Задача пользователя стоит после границы кэша, поэтому новая запись из-за неё не создаётся. На шестиходовой нагрузке GPT-6 Astra показала лучший результат неявного режима: входная стоимость примерно на 62% ниже, чем без кэша. Явные скользящие метки дали около 61% на той же модели.

Что известно по теме: типичные ошибки и что делать?

Первая ошибка касается только явного режима. Если оставить одну статичную метку, инструменты и инструкции закэшируются, но растущая история будет обрабатываться заново на каждом ходу. Вторая: двигать единственную метку вперёд. Тогда кэш может не переиспользоваться, поэтому метки прошлых ходов лучше оставлять в истории. Третья связана с неявным режимом и меняющейся задачей. Новая задача не совпадает со старым префиксом, и без явной метки после общих инструкций короткий общий префикс отдельной записью не сохранится.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ ИИ-агенты на практике · Академия & Nomad

От чтения про ИИ-агентов — к запуску своего агента за вечер

Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.

Попробовать Академию (72ч бесплатно) →Запустить Nomad Agent
Что вы думаете?
Загружаем комментарии…