Amazon Bedrock добавил явное кеширование промптов для открытых моделей
Если ваше приложение при каждом запросе заново отправляет длинную инструкцию или документацию, вы платите за её обработку снова и снова. Amazon Bedrock для открытых моделей теперь поддерживает явное кеширование промптов: общий префикс считается один раз, а потом читается из кеша по сниженной цене и быстрее. Есть два режима: неявный работает сам, явный требует метки «до сих пор кешировать». Поэтому всё статичное лучше ставить в начало промпта, а меняющееся — в конец.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Большинство ИИ-приложений при каждом запросе отправляют модели одно и то же: системную инструкцию, справочные документы, описания инструментов и историю диалога. За обработку этого повторяющегося куска вы платите каждый раз и ждёте тоже каждый раз. Amazon Bedrock для открытых моделей (open-weight) теперь поддерживает явное кеширование промптов. Это позволяет один раз посчитать общий префикс, а затем читать его из кеша дешевле и быстрее.
Как это работает
Принцип простой. Если новый запрос начинается с того же текста, что и предыдущий, Bedrock берёт начало из кеша и обрабатывает только то, что идёт после. Чтение из кеша тарифицируется ниже обычного входного токена. У части моделей запись в кеш стоит дороже стандартного входа, поэтому точные ставки нужно смотреть в прайсе конкретной модели. Чем длиннее повторяющийся контекст и чем чаще он используется, тем больше экономия.
Режимов два. Неявный (implicit) не требует изменений в запросах: Bedrock сам выбирает подходящие префиксы по принципу best effort. Он хорошо подходит для диалогов и циклов агентов, где каждый следующий запрос содержит предыдущий. Явный (explicit) нужен, когда вы хотите сами решить, что кешировать. Для этого в Chat Completions API передают prompt_cache_options с режимом explicit и ставят маркер prompt_cache_breakpoint на текстовой части, после которой кеш заканчивается. Всё до маркера (включая его) пишется в кеш, всё после обрабатывается заново. Маркеров можно ставить несколько, если слои меняются с разной частотой: например, общие инструкции, затем документ конкретного клиента.
Нюанс: маркер без явного режима работает как неявное кеширование, а явный режим без маркера не кеширует ничего. Параметры нужно задавать вместе.
Пример: ассистент поддержки фильтра для воды
AWS показывает это на вымышленном ассистенте для фильтра AquaPure 500. В системном промпте лежит инструкция и руководство пользователя примерно на 4000 токенов, а каждый запрос задаёт новый вопрос клиента. Если у модели есть минимальная длина префикса, руководство нужно дополнить до неё: для теста подойдёт и текст-заглушка, ведь кешу важно только совпадение префикса.
Клиент — обычный OpenAI SDK, направленный на эндпоинт Bedrock. Авторизация идёт через короткоживущий API-ключ (до 12 часов), который генерирует функция provide_token(), так что долгоживущие ключи хранить не нужно. В ответе в usage.prompt_tokens_details видно, сколько токенов прочитано из кеша (cached_tokens) и сколько записано (cache_write_tokens).
Картина в неявном режиме такая: первый вызов пишет промпт в кеш, второй и третий читают инструкцию и руководство из кеша, но дописывают несколько токенов, потому что префикс расширяется на новый вопрос. В явном режиме пишет только первый вызов, а повторные ничего не записывают: вопрос после маркера просто остаётся некешированным остатком. Это выгодно, когда запись дороже чтения и вы не хотите платить за кеширование вопросов, которые больше не повторятся. Важная деталь: в неявном режиме руководство и вопрос нужно класть в разные сообщения (system и user). Когда AWS отправила их одним пользовательским сообщением, попаданий в кеш не было.
Кодинг-агент OpenCode
Кодинг-агенты на каждом шаге пересылают большой стабильный префикс: системный промпт, описания инструментов и историю. Поэтому они естественно подходят под неявный кеш. AWS подключила открытый агент OpenCode (версия 1.18.35) через кастомного OpenAI-совместимого провайдера на тот же эндпоинт. В трёхходовой сессии первый запрос обрабатывает весь промпт и пишет его в кеш, а следующие читают всё до конца предыдущего запроса и обрабатывают только новый хвост. Настраивать кеширование не пришлось. Ограничение: OpenCode этой версии не записывает cache_write_tokens для такого провайдера, поэтому поле cache.write остаётся нулём. Графики в статье помечены как иллюстративные, то есть конкретных процентов экономии AWS не приводит.
Что делать на практике
- Ставьте статичное в начало промпта: системную инструкцию, инструменты, документы. Временные метки и ID запросов отправляйте в конец.
- Проверяйте, что префикс достаточно длинный: у каждой модели есть минимальный порог токенов.
- Смотрите на поля usage в каждом ответе, а для всей нагрузки — на метрики CacheReadInputTokenCount и CacheWriteInputTokenCount.
- Держите кеш тёплым: срок жизни (TTL) сбрасывается при каждом попадании, а после паузы дольше TTL префикс придётся записывать заново.
- Кешируйте только то, что реально повторяется. При кросс-региональном инференсе в часы пиковой нагрузки возможны дополнительные записи в кеш.
Поддержка режимов, минимальная длина префикса, число маркеров и TTL зависят от модели и региона, поэтому сначала сверяйтесь с карточкой модели. По заявлению AWS, промпты и ответы не передаются поставщику модели и не используются для обучения.
- 21 нояб. 2026 г.AG-UI 1.0 даёт ИИ-агентам единый язык для связи с приложением: 31 тип событий
- 21 нояб. 2026 г.OpenAI запустила ChatGPT Wallet: агенты покупают, не видя номер карты
- 21 нояб. 2026 г.США вложили в рекламу ChatGPT $70,7 млн за октябрь — на 127% больше, чем в апреле
- 21 нояб. 2026 г.ONNX Runtime пропал с GitHub: Microsoft скрыла репозитории после взлома пакета
Вопросы и ответы по материалу
Что известно по теме: как это работает?
Принцип простой. Если новый запрос начинается с того же текста, что и предыдущий, Bedrock берёт начало из кеша и обрабатывает только то, что идёт после. Чтение из кеша тарифицируется ниже обычного входного токена. У части моделей запись в кеш стоит дороже стандартного входа, поэтому точные ставки нужно смотреть в прайсе конкретной модели. Чем длиннее повторяющийся контекст и чем чаще он используется, тем больше экономия. Режимов два.
Что известно по теме: пример: ассистент поддержки фильтра для воды?
AWS показывает это на вымышленном ассистенте для фильтра AquaPure 500. В системном промпте лежит инструкция и руководство пользователя примерно на 4000 токенов, а каждый запрос задаёт новый вопрос клиента. Если у модели есть минимальная длина префикса, руководство нужно дополнить до неё: для теста подойдёт и текст-заглушка, ведь кешу важно только совпадение префикса. Клиент — обычный OpenAI SDK, направленный на эндпоинт Bedrock.
Что известно по теме: кодинг-агент OpenCode?
Кодинг-агенты на каждом шаге пересылают большой стабильный префикс: системный промпт, описания инструментов и историю. Поэтому они естественно подходят под неявный кеш. AWS подключила открытый агент OpenCode (версия 1.18.35) через кастомного OpenAI-совместимого провайдера на тот же эндпоинт. В трёхходовой сессии первый запрос обрабатывает весь промпт и пишет его в кеш, а следующие читают всё до конца предыдущего запроса и обрабатывают только новый хвост. Настраивать кеширование не пришлось.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.