Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РазборAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

Счёт Amazon Bedrock можно урезать без смены модели: Flex стоит вдвое меньше Standard

Счёт за Amazon Bedrock растёт даже после сокращения промптов, потому что цену задают настройки запроса. Для фоновых задач вроде ночных отчётов тариф Flex на модели Nova 2 Lite стоит вдвое дешевле обычного Standard. Режим рассуждений low вместо high сократил ответ агента на Claude Opus 5 с 2521 до 936 токенов. Менять настройки лучше по одной, сверяя счёт и качество.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Счёт Amazon Bedrock можно урезать без смены модели: Flex стоит вдвое меньше Standard
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Лимит ответа в 155 токенов вместо 2048 сэкономил 1893 токена
Ключевой факт #2Кэш на час окупается со 2-го запроса в час при паузах дольше 5 минут
Ключевой факт #3Flex не поддерживают Claude Sonnet 5 и Opus 5: запрос падает с ошибкой

Вы уже сократили промпты и убрали лишние вызовы, а счёт за работу моделей в Amazon Bedrock всё равно растёт. Команда AWS показала, что часть денег уходит на четыре параметра, которые задаются в каждом запросе: как долго живёт кэш (запомненная часть промпта, которую не нужно оплачивать заново по полной цене), какой тариф обслуживания выбран, сколько модель «думает» перед ответом и какой потолок длины ответа стоит. Модель и текст промпта менять не нужно. Для примера: ночной отчёт не требует скорости чата, и если пустить его по тарифу Flex, он стоит вдвое меньше обычного Standard. А если агент вместо 2521 токена ответа тратит 936, счёт за него падает почти втрое. Токен здесь — единица текста, за которую платят.

Кэш: длинный срок не всегда дешевле

Если системные инструкции, описания инструментов или справочный контекст повторяются, их можно закэшировать. Для поддерживаемых моделей Anthropic доступны сроки жизни записи 5 минут и 1 час. Для Claude Sonnet 5 и Opus 5 запись на 5 минут стоит 1,25 от обычной входной цены, запись на час — 2 от неё, а чтение из кэша — всего 0,1.

Отсюда простая арифметика. Если запросы с одним и тем же началом приходят чаще чем раз в 5 минут, короткий кэш окупается с первого повтора. Если паузы длиннее, он переписывается при каждом запросе по цене 1,25. Тогда часовой кэш выгоднее со второго запроса в течение часа. Чтобы вообще обойти вариант «без кэша», ему нужно три запроса в час.

Есть и подводные камни. Любое изменение начала промпта, будь то системная инструкция или описание инструмента, даёт промах и новую запись. Проверка идёт в порядке «инструменты, система, сообщения», поэтому правка в начале сбрасывает всё, что после неё. В тесте на Sonnet 5 за шесть вызовов две такие правки привели к нулю чтений из кэша и новой записи. Кэш привязан к аккаунту и региону, а не к вашим клиентам, поэтому в приложении для многих клиентов к началу промпта добавляют хеш SHA-256 клиента. Если нужна жёсткая изоляция данных, держите клиентов в отдельных аккаунтах AWS.

Flex-тариф и усилие рассуждений

Фоновые задачи, прогоны оценок и ночные суммаризации не требуют скорости интерактивного чата. Для них у части моделей есть тариф Flex. AWS проверила его на Nova 2 Lite: по 200 запросов на Standard и на Flex, отправленных парами. Токенов обработано поровну, все 400 запросов получили запрошенный тариф, а разницу в медианной задержке не отличить от шума. Опубликованная цена Flex в регионе us-west-2 вдвое ниже Standard, и счёт это подтвердил.

Поддержка зависит от версии модели: у Nova 2 Lite и gpt-oss-120b Flex есть, а у Claude Sonnet 5 и Opus 5 нет. Запрос к неподдерживаемой модели падает с ошибкой ValidationException и не уходит молча на Standard. Если политика допускает запасной вариант, ловите именно эту ошибку и повторяйте один раз с тарифом default. Ловить любую ValidationException нельзя: её вызывают и кривые запросы.

С рассуждениями история дороже. Токены «мышления» оплачиваются как выходные. Claude Sonnet 5 и Opus 5 по умолчанию работают с адаптивным мышлением на высоком уровне, даже если поле thinking не указано. Приложение, перенесённое с Sonnet 4.6 без правок, начнёт платить за мышление, а maxTokens теперь ограничивает мышление и текст ответа вместе.

AWS прогнала агента с вызовом инструментов на Claude Opus 5: три задачи, по восемь запусков на каждый уровень усилия. Верными оказались все 24 прогона на любом уровне. Медианный объём ответа вырос с 936 токенов на low до 1484 на medium (+59%), 2521 на high (+169%), 2964 на xhigh и 3762 на max (+302%). На генерации кода разница между low и high (676 против 743 токенов) укладывалась в разброс между запусками. Оговорка честная: у границы возможностей модели качество на низком усилии может падать, поэтому токены нужно мерить вместе с долей пройденных задач.

Потолок ответа: страховка, а не защита

maxTokens ограничивает ответ, который может раздуть плохой промпт, регрессия или зацикливание. При старте запроса Bedrock резервирует в квоте входные токены плюс maxTokens, так что завышенный лимит снижает число одновременных запросов. В тесте на Sonnet 5 нормальные ответы достигали 103 токенов, и лимит поставили на 155. Нарочно многословный запрос при потолке 2048 выдал 2048 токенов, при 155 только 155, то есть сэкономили 1893 токена. Оба ответа оказались обрезанными, так что лимит экономит деньги, но не делает плохой промпт полезным. В цепочках из нескольких шагов обрезанный ответ может сломать всё дальнейшее.

На практике лимит выбирают по P95 или P99 (длина, в которую укладываются 95% или 99% ответов) для каждого типа задач и добавляют запас, включив мышление. Остановки по max_tokens стоит отслеживать и разбираться с запросом, прежде чем поднимать лимит. Защитой от вредного контента лимит не является: для этого есть Bedrock Guardrails.

Что делать

Порядок один для всех четырёх параметров: проверить поддержку моделью, поменять одну настройку, замерить токены или стоимость, посмотреть качество. Если вы направляете запросы на разные модели, заведите для каждой версии, региона и API карточку возможностей: сроки кэша, тарифы, уровни рассуждений, лимиты. Ответ Bedrock возвращает фактический тариф и счётчики кэша, их стоит сверять с CloudWatch и счётом.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: кэш: длинный срок не всегда дешевле?

Если системные инструкции, описания инструментов или справочный контекст повторяются, их можно закэшировать. Для поддерживаемых моделей Anthropic доступны сроки жизни записи 5 минут и 1 час. Для Claude Sonnet 5 и Opus 5 запись на 5 минут стоит 1,25 от обычной входной цены, запись на час — 2 от неё, а чтение из кэша — всего 0,1. Отсюда простая арифметика. Если запросы с одним и тем же началом приходят чаще чем раз в 5 минут, короткий кэш окупается с первого повтора.

Что известно по теме: Flex-тариф и усилие рассуждений?

Фоновые задачи, прогоны оценок и ночные суммаризации не требуют скорости интерактивного чата. Для них у части моделей есть тариф Flex. AWS проверила его на Nova 2 Lite: по 200 запросов на Standard и на Flex, отправленных парами. Токенов обработано поровну, все 400 запросов получили запрошенный тариф, а разницу в медианной задержке не отличить от шума. Опубликованная цена Flex в регионе us-west-2 вдвое ниже Standard, и счёт это подтвердил.

Что известно по теме: потолок ответа: страховка, а не защита?

maxTokens ограничивает ответ, который может раздуть плохой промпт, регрессия или зацикливание. При старте запроса Bedrock резервирует в квоте входные токены плюс maxTokens, так что завышенный лимит снижает число одновременных запросов. В тесте на Sonnet 5 нормальные ответы достигали 103 токенов, и лимит поставили на 155. Нарочно многословный запрос при потолке 2048 выдал 2048 токенов, при 155 только 155, то есть сэкономили 1893 токена.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…