AWS: кэш промптов снизил стоимость входных токенов ИИ-агента на 62%
Агент на каждом шаге заново отправляет модели все инструменты, инструкции и историю, и вы платите за эти токены снова. AWS показал на OpenAI-моделях в Bedrock, как кэш запоминает неизменное начало запроса и берёт за него долю цены. В тесте на шесть ходов с GPT-6 Astra стоимость входных токенов упала примерно на 62% против работы без кэша. Поэтому ставьте инструменты и инструкции в начало промпта, а дату и ID запроса — в конец.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Представьте, что ваш ИИ-агент каждое утро просыпается, как герой «Дня сурка», и ничего не помнит. Так и есть: у модели нет памяти между запросами. На каждом шаге (вызвать инструмент, прочитать результат, решить, что делать дальше) агент заново отправляет ей всю предысторию: описания инструментов, инструкции, каждый прошлый вызов и каждый результат. К двадцатому ходу кодингового сеанса модель перечитывает ходы с первого по девятнадцатый, а вы платите за каждый из этих входных токенов снова и снова. AWS в своём блоге показал, как это лечится кэшем промптов на OpenAI-моделях в Amazon Bedrock. В шестиходовом тесте на GPT-6 Astra стоимость входных токенов получилась примерно на 62% ниже, чем без кэша.
Как работает кэш и что в него класть
Перед ответом модель обрабатывает весь входной текст и строит из него рабочее состояние: набор ключей и значений (KV). Кэш сохраняет это состояние. Если следующий запрос начинается с тех же токенов, сервис загружает сохранённое и считает только новый хвост. За прочитанное из кэша токены стоят заметно дешевле обычных.
Запрос агента состоит из четырёх частей: список инструментов, инструкции разработчика, история сеанса и новый ход. Первые две меняются только с релизом, история растёт, последняя часть каждый раз разная. Отсюда практическое правило: всё стабильное идёт в начало, всё переменное (дата, имя пользователя, ID запроса) — после кэшируемых инструкций. Кэш срабатывает только при точном совпадении текста, поэтому инструменты нужно сериализовать одинаково при каждом запросе, в том числе когда они приходят с MCP-серверов.
Режимов два. В неявном Bedrock сам решает, где кончается переиспользуемое начало запроса. В явном вы ставите метку prompt_cache_breakpoint там, где хотите закончить сохранение. AWS советует сочетать оба: явная метка после инструкций создаёт общую стартовую точку для разных сессий и вспомогательных агентов, а неявный режим сам кэширует растущий диалог. Нужно учесть минимальный размер: кэшируемый префикс должен быть не короче 1024 токенов. В примерах время жизни кэша 30 минут, а параметр prompt_cache_key говорит сервису, какие запросы должны делить один кэш. Параметр store=False хранение ответов отключает, но кэширование не выключает: история остаётся в вашем приложении.
Цифры из теста
В одном из тестов префикс из инструментов и инструкций занимал около 4000 токенов. При первом запросе записалось 4120 токенов, при следующих те же 4120 токенов читались из кэша. Задача пользователя стоит после границы кэша, поэтому новая запись из-за неё не создаётся.
На шестиходовой нагрузке GPT-6 Astra показала лучший результат неявного режима: входная стоимость примерно на 62% ниже, чем без кэша. Явные скользящие метки дали около 61% на той же модели. В обоих случаях кэш переиспользовал всё больше истории по мере роста диалога. AWS сразу оговаривается: это цифры конкретной нагрузки, экономию своего агента нужно мерить самому. В ответе API для этого есть счётчики cached_tokens и cache_write_tokens.
Типичные ошибки и что делать
Первая ошибка касается только явного режима. Если оставить одну статичную метку, инструменты и инструкции закэшируются, но растущая история будет обрабатываться заново на каждом ходу. Вторая: двигать единственную метку вперёд. Тогда кэш может не переиспользоваться, поэтому метки прошлых ходов лучше оставлять в истории. Третья связана с неявным режимом и меняющейся задачей. Новая задача не совпадает со старым префиксом, и без явной метки после общих инструкций короткий общий префикс отдельной записью не сохранится.
Есть и ограничение: цифры в статье получены на одной модели и одной шестиходовой нагрузке. У агента с длинными ответами инструментов или частыми правками промпта экономия будет другой.
Что делать разработчику агентов. Во-первых, наведите порядок в промпте: стабильное в начало, переменное в конец, одинаковая сериализация инструментов. Во-вторых, используйте обе схемы вместе: явную метку после инструкций и неявный режим для истории. В-третьих, сразу логируйте долю токенов, прочитанных из кэша. Если она низкая, где-то в начале запроса меняется текст, и вы переплачиваете за каждый ход.
- 22 нояб. 2026 г.Аналитики посчитали: в 2028 году 87% энергии Anthropic даст газ, 11% — уголь
- 22 нояб. 2026 г.AWS Quick получил коннектор к Meta Ads: кампании и отчёты по текстовому запросу
- 22 нояб. 2026 г.Хобби-проект LangChain за четыре года стал стартапом за $3 млрд и привлёк $300 млн
- 21 нояб. 2026 г.Amazon дала бесплатного ИИ-агента AWS Quick с Claude, платный Plus — $25 в месяц
Вопросы и ответы по материалу
Что известно по теме: как работает кэш и что в него класть?
Перед ответом модель обрабатывает весь входной текст и строит из него рабочее состояние: набор ключей и значений (KV). Кэш сохраняет это состояние. Если следующий запрос начинается с тех же токенов, сервис загружает сохранённое и считает только новый хвост. За прочитанное из кэша токены стоят заметно дешевле обычных. Запрос агента состоит из четырёх частей: список инструментов, инструкции разработчика, история сеанса и новый ход.
Что известно по теме: цифры из теста?
В одном из тестов префикс из инструментов и инструкций занимал около 4000 токенов. При первом запросе записалось 4120 токенов, при следующих те же 4120 токенов читались из кэша. Задача пользователя стоит после границы кэша, поэтому новая запись из-за неё не создаётся. На шестиходовой нагрузке GPT-6 Astra показала лучший результат неявного режима: входная стоимость примерно на 62% ниже, чем без кэша. Явные скользящие метки дали около 61% на той же модели.
Что известно по теме: типичные ошибки и что делать?
Первая ошибка касается только явного режима. Если оставить одну статичную метку, инструменты и инструкции закэшируются, но растущая история будет обрабатываться заново на каждом ходу. Вторая: двигать единственную метку вперёд. Тогда кэш может не переиспользоваться, поэтому метки прошлых ходов лучше оставлять в истории. Третья связана с неявным режимом и меняющейся задачей. Новая задача не совпадает со старым префиксом, и без явной метки после общих инструкций короткий общий префикс отдельной записью не сохранится.
От чтения про ИИ-агентов — к запуску своего агента за вечер
Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.