Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

Amazon Bedrock добавил явное кеширование промптов для открытых моделей

Если ваше приложение при каждом запросе заново отправляет длинную инструкцию или документацию, вы платите за её обработку снова и снова. Amazon Bedrock для открытых моделей теперь поддерживает явное кеширование промптов: общий префикс считается один раз, а потом читается из кеша по сниженной цене и быстрее. Есть два режима: неявный работает сам, явный требует метки «до сих пор кешировать». Поэтому всё статичное лучше ставить в начало промпта, а меняющееся — в конец.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Amazon Bedrock добавил явное кеширование промптов для открытых моделей
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Явный режим включается полем prompt_cache_options и маркером prompt_cache_breakpoint
Ключевой факт #2Чтение из кеша тарифицируется ниже обычного входа, запись у части моделей дороже
Ключевой факт #3OpenCode работает с неявным кешем без настроек: каждый шаг обрабатывает лишь новый «хвост»

Большинство ИИ-приложений при каждом запросе отправляют модели одно и то же: системную инструкцию, справочные документы, описания инструментов и историю диалога. За обработку этого повторяющегося куска вы платите каждый раз и ждёте тоже каждый раз. Amazon Bedrock для открытых моделей (open-weight) теперь поддерживает явное кеширование промптов. Это позволяет один раз посчитать общий префикс, а затем читать его из кеша дешевле и быстрее.

Как это работает

Принцип простой. Если новый запрос начинается с того же текста, что и предыдущий, Bedrock берёт начало из кеша и обрабатывает только то, что идёт после. Чтение из кеша тарифицируется ниже обычного входного токена. У части моделей запись в кеш стоит дороже стандартного входа, поэтому точные ставки нужно смотреть в прайсе конкретной модели. Чем длиннее повторяющийся контекст и чем чаще он используется, тем больше экономия.

Режимов два. Неявный (implicit) не требует изменений в запросах: Bedrock сам выбирает подходящие префиксы по принципу best effort. Он хорошо подходит для диалогов и циклов агентов, где каждый следующий запрос содержит предыдущий. Явный (explicit) нужен, когда вы хотите сами решить, что кешировать. Для этого в Chat Completions API передают prompt_cache_options с режимом explicit и ставят маркер prompt_cache_breakpoint на текстовой части, после которой кеш заканчивается. Всё до маркера (включая его) пишется в кеш, всё после обрабатывается заново. Маркеров можно ставить несколько, если слои меняются с разной частотой: например, общие инструкции, затем документ конкретного клиента.

Нюанс: маркер без явного режима работает как неявное кеширование, а явный режим без маркера не кеширует ничего. Параметры нужно задавать вместе.

Пример: ассистент поддержки фильтра для воды

AWS показывает это на вымышленном ассистенте для фильтра AquaPure 500. В системном промпте лежит инструкция и руководство пользователя примерно на 4000 токенов, а каждый запрос задаёт новый вопрос клиента. Если у модели есть минимальная длина префикса, руководство нужно дополнить до неё: для теста подойдёт и текст-заглушка, ведь кешу важно только совпадение префикса.

Клиент — обычный OpenAI SDK, направленный на эндпоинт Bedrock. Авторизация идёт через короткоживущий API-ключ (до 12 часов), который генерирует функция provide_token(), так что долгоживущие ключи хранить не нужно. В ответе в usage.prompt_tokens_details видно, сколько токенов прочитано из кеша (cached_tokens) и сколько записано (cache_write_tokens).

Картина в неявном режиме такая: первый вызов пишет промпт в кеш, второй и третий читают инструкцию и руководство из кеша, но дописывают несколько токенов, потому что префикс расширяется на новый вопрос. В явном режиме пишет только первый вызов, а повторные ничего не записывают: вопрос после маркера просто остаётся некешированным остатком. Это выгодно, когда запись дороже чтения и вы не хотите платить за кеширование вопросов, которые больше не повторятся. Важная деталь: в неявном режиме руководство и вопрос нужно класть в разные сообщения (system и user). Когда AWS отправила их одним пользовательским сообщением, попаданий в кеш не было.

Кодинг-агент OpenCode

Кодинг-агенты на каждом шаге пересылают большой стабильный префикс: системный промпт, описания инструментов и историю. Поэтому они естественно подходят под неявный кеш. AWS подключила открытый агент OpenCode (версия 1.18.35) через кастомного OpenAI-совместимого провайдера на тот же эндпоинт. В трёхходовой сессии первый запрос обрабатывает весь промпт и пишет его в кеш, а следующие читают всё до конца предыдущего запроса и обрабатывают только новый хвост. Настраивать кеширование не пришлось. Ограничение: OpenCode этой версии не записывает cache_write_tokens для такого провайдера, поэтому поле cache.write остаётся нулём. Графики в статье помечены как иллюстративные, то есть конкретных процентов экономии AWS не приводит.

Что делать на практике

  • Ставьте статичное в начало промпта: системную инструкцию, инструменты, документы. Временные метки и ID запросов отправляйте в конец.
  • Проверяйте, что префикс достаточно длинный: у каждой модели есть минимальный порог токенов.
  • Смотрите на поля usage в каждом ответе, а для всей нагрузки — на метрики CacheReadInputTokenCount и CacheWriteInputTokenCount.
  • Держите кеш тёплым: срок жизни (TTL) сбрасывается при каждом попадании, а после паузы дольше TTL префикс придётся записывать заново.
  • Кешируйте только то, что реально повторяется. При кросс-региональном инференсе в часы пиковой нагрузки возможны дополнительные записи в кеш.

Поддержка режимов, минимальная длина префикса, число маркеров и TTL зависят от модели и региона, поэтому сначала сверяйтесь с карточкой модели. По заявлению AWS, промпты и ответы не передаются поставщику модели и не используются для обучения.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как это работает?

Принцип простой. Если новый запрос начинается с того же текста, что и предыдущий, Bedrock берёт начало из кеша и обрабатывает только то, что идёт после. Чтение из кеша тарифицируется ниже обычного входного токена. У части моделей запись в кеш стоит дороже стандартного входа, поэтому точные ставки нужно смотреть в прайсе конкретной модели. Чем длиннее повторяющийся контекст и чем чаще он используется, тем больше экономия. Режимов два.

Что известно по теме: пример: ассистент поддержки фильтра для воды?

AWS показывает это на вымышленном ассистенте для фильтра AquaPure 500. В системном промпте лежит инструкция и руководство пользователя примерно на 4000 токенов, а каждый запрос задаёт новый вопрос клиента. Если у модели есть минимальная длина префикса, руководство нужно дополнить до неё: для теста подойдёт и текст-заглушка, ведь кешу важно только совпадение префикса. Клиент — обычный OpenAI SDK, направленный на эндпоинт Bedrock.

Что известно по теме: кодинг-агент OpenCode?

Кодинг-агенты на каждом шаге пересылают большой стабильный префикс: системный промпт, описания инструментов и историю. Поэтому они естественно подходят под неявный кеш. AWS подключила открытый агент OpenCode (версия 1.18.35) через кастомного OpenAI-совместимого провайдера на тот же эндпоинт. В трёхходовой сессии первый запрос обрабатывает весь промпт и пишет его в кеш, а следующие читают всё до конца предыдущего запроса и обрабатывают только новый хвост. Настраивать кеширование не пришлось.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…