Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарAWS Machine Learning Blog→ оригинал

Accenture снизила расходы клиентов на токены в Bedrock на 40–85%

Цена токена падает, а счёт за ИИ растёт: агенты делают много вызовов модели там, где раньше хватало одного. AWS и Accenture на четырёх клиентских проектах показали, как срезать траты на 40–85%, например не оплачивая заново одну и ту же длинную инструкцию в каждом запросе. Телеком-оператор снизил расходы с $12 млн до $3,8 млн в год (−68%). Начните с тегов стоимости и включайте приёмы по одному, замеряя качество.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Accenture снизила расходы клиентов на токены в Bedrock на 40–85%
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Кеш промптовдо 90% скидки на повторяющийся вход
Ключевой факт #2Пакетная обработка несрочных задач дешевле на 50%
Семантический кеш в тесте AWS72,5% экономии, 92,3% точности

Токен дешевеет, а счёт за ИИ всё равно растёт. Дешёвые токены привлекают новые задачи, а агенты делают по несколько вызовов модели там, где раньше хватало одного. Представьте чат-бота поддержки с длинной системной инструкцией: она уходит в модель с каждым сообщением, и вы каждый раз платите за её обработку заново.

Умножьте это на тысячи диалогов, и потребление обгонит падение цен. Именно с этим AWS и консалтинговая компания Accenture предлагают бороться на платформе Amazon Bedrock. Они описали шесть приёмов экономии, а на четырёх клиентских проектах (телеком, страхование, добыча полезных ископаемых и крупное корпоративное внедрение) траты на токены, где их удалось измерить, упали примерно на 40–85%.

Если вы платите за API моделей, это готовый порядок действий. Сама отрасль уже считает тему важной: Linux Foundation запустила Tokenomics Foundation для открытых стандартов экономики ИИ.

Сначала понять, кто и на что тратит

Без разметки счёт AWS показывает ИИ одной строкой, без деления по командам, агентам и моделям. Поэтому первый шаг — учёт. Для каждого приложения заводят отдельный application inference profile и помечают его тегами: команда, центр затрат, окружение. Затем теги активируют как cost allocation tags в консоли AWS Billing and Cost Management.

Данные дают три источника. Отчёты Cost and Usage Reports (CUR 2.0) показывают, сколько денег ушло на каждую нагрузку и команду. CloudWatch считает вызовы и задержки. Журнал вызовов Bedrock фиксирует модель и число входных и выходных токенов в каждом запросе.

Продуктовым командам Accenture предлагает метрику Cost per Business Transaction (CpBT): полную стоимость одного успешного бизнес-результата. В неё входят все вызовы модели, повторные попытки, обращения к инструментам и передачи между агентами. Так видна цена неудачных попыток, которую прайс за токен скрывает.

Шесть приёмов в трёх фазах

Фаза 1: только настройки. Кеш промптов позволяет не платить полную цену за повторяющиеся части запроса: системные инструкции, описания инструментов, справочные документы. AWS обещает скидку до 90% на кешированный вход для поддерживаемых моделей. Пакетная обработка (batch inference) гонит несрочные задачи асинхронно и стоит на 50% дешевле обычного режима для ряда моделей. Подходит для ночных отчётов, обработки документов и прогонов оценки качества.

Фаза 2: архитектура. Intelligent prompt routing отправляет простые запросы на модели поменьше внутри одного семейства и обещает до 30% экономии без потери точности. Стоимость самой маршрутизации стоит проверить в прайсе. Второй приём — оптимизация RAG (когда модель отвечает по найденным документам): нарезка документов по иерархии, фильтры по метаданным и переранжирование, чтобы в модель попадали только нужные куски. Accenture добавляет два своих приёма: каждый агент получает только свой фрагмент документов, а документы сжимаются до отправки в модель.

Фаза 3: инфраструктура и обучение. Семантический кеш возвращает сохранённый ответ на похожий вопрос, даже если формулировка другая. На AWS его собирают на векторном хранилище вроде Amazon ElastiCache перед моделью. В тесте AWS на 63 796 реальных запросах к чат-боту при пороге сходства 90% кеш сработал в 74,5% случаев, точность составила 92,3%, а экономия — 72,5%. Дистилляция переносит знания большой модели в маленькую. По данным AWS, такие модели в Bedrock до 500% быстрее и до 75% дешевле оригинала, а точность падает менее чем на 2% в задачах вроде RAG. Окупается на стабильных задачах с большим объёмом.

Что получилось у клиентов

Крупный корпоративный заказчик гнал все запросы через самую мощную модель без кеша и пакетов. Accenture одновременно включила разделение задач по моделям, кеш промптов и пакетную обработку. Месячные траты на токены упали на 85%. Около 15% задач всё равно требовали топовой модели.

Телеком-оператор тратил $12 млн в год: агенты без ограничений плодили запросы, и всё шло в самую мощную модель. После маршрутизации по сложности, семантического кеша и сжатия контекста входные токены сократились на 70%, а годовые траты упали до $3,8 млн (−68%). Качество сверяли с прежними внутренними тестами оператора.

Страховая компания включила префиксный кеш на уровне модели, горнодобывающая — семантический кеш в приложении. Вместе они сэкономили около 40% без смены моделей и без обучения.

Оговорки важны. Это блог вендора, имена клиентов скрыты, а в двух проектах приёмы вводили одновременно, поэтому вклад каждого неизвестен. Результаты зависят от нагрузки.

Что делать на практике

Повесьте теги, найдите самые дорогие нагрузки через CUR 2.0 и журнал вызовов, включите кеш для интерактивного трафика и batch для асинхронного. Перед изменением зафиксируйте базовые стоимость и качество, проверяйте их на отложенной выборке из реального трафика, а не на синтетике. Меняйте по одному приёму за раз, чтобы можно было откатиться. В регулируемых отраслях документируйте результаты тестов и план отката. При маршрутизации и семантическом кеше оставляйте Guardrails на каждом пути и задавайте срок жизни кеша, чтобы пользователи не получали устаревшие ответы.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: сначала понять, кто и на что тратит?

Без разметки счёт AWS показывает ИИ одной строкой, без деления по командам, агентам и моделям. Поэтому первый шаг — учёт. Для каждого приложения заводят отдельный application inference profile и помечают его тегами: команда, центр затрат, окружение. Затем теги активируют как cost allocation tags в консоли AWS Billing and Cost Management. Данные дают три источника. Отчёты Cost and Usage Reports (CUR 2.0) показывают, сколько денег ушло на каждую нагрузку и команду. CloudWatch считает вызовы и задержки.

Что известно по теме: шесть приёмов в трёх фазах?

Фаза 1: только настройки. Кеш промптов позволяет не платить полную цену за повторяющиеся части запроса: системные инструкции, описания инструментов, справочные документы. AWS обещает скидку до 90% на кешированный вход для поддерживаемых моделей. Пакетная обработка (batch inference) гонит несрочные задачи асинхронно и стоит на 50% дешевле обычного режима для ряда моделей. Подходит для ночных отчётов, обработки документов и прогонов оценки качества. Фаза 2: архитектура.

Что известно по теме: что получилось у клиентов?

Крупный корпоративный заказчик гнал все запросы через самую мощную модель без кеша и пакетов. Accenture одновременно включила разделение задач по моделям, кеш промптов и пакетную обработку. Месячные траты на токены упали на 85%. Около 15% задач всё равно требовали топовой модели. Телеком-оператор тратил $12 млн в год: агенты без ограничений плодили запросы, и всё шло в самую мощную модель.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…