Accenture снизила расходы клиентов на токены в Bedrock на 40–85%
Цена токена падает, а счёт за ИИ растёт: агенты делают много вызовов модели там, где раньше хватало одного. AWS и Accenture на четырёх клиентских проектах показали, как срезать траты на 40–85%, например не оплачивая заново одну и ту же длинную инструкцию в каждом запросе. Телеком-оператор снизил расходы с $12 млн до $3,8 млн в год (−68%). Начните с тегов стоимости и включайте приёмы по одному, замеряя качество.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Токен дешевеет, а счёт за ИИ всё равно растёт. Дешёвые токены привлекают новые задачи, а агенты делают по несколько вызовов модели там, где раньше хватало одного. Представьте чат-бота поддержки с длинной системной инструкцией: она уходит в модель с каждым сообщением, и вы каждый раз платите за её обработку заново.
Умножьте это на тысячи диалогов, и потребление обгонит падение цен. Именно с этим AWS и консалтинговая компания Accenture предлагают бороться на платформе Amazon Bedrock. Они описали шесть приёмов экономии, а на четырёх клиентских проектах (телеком, страхование, добыча полезных ископаемых и крупное корпоративное внедрение) траты на токены, где их удалось измерить, упали примерно на 40–85%.
Если вы платите за API моделей, это готовый порядок действий. Сама отрасль уже считает тему важной: Linux Foundation запустила Tokenomics Foundation для открытых стандартов экономики ИИ.
Сначала понять, кто и на что тратит
Без разметки счёт AWS показывает ИИ одной строкой, без деления по командам, агентам и моделям. Поэтому первый шаг — учёт. Для каждого приложения заводят отдельный application inference profile и помечают его тегами: команда, центр затрат, окружение. Затем теги активируют как cost allocation tags в консоли AWS Billing and Cost Management.
Данные дают три источника. Отчёты Cost and Usage Reports (CUR 2.0) показывают, сколько денег ушло на каждую нагрузку и команду. CloudWatch считает вызовы и задержки. Журнал вызовов Bedrock фиксирует модель и число входных и выходных токенов в каждом запросе.
Продуктовым командам Accenture предлагает метрику Cost per Business Transaction (CpBT): полную стоимость одного успешного бизнес-результата. В неё входят все вызовы модели, повторные попытки, обращения к инструментам и передачи между агентами. Так видна цена неудачных попыток, которую прайс за токен скрывает.
Шесть приёмов в трёх фазах
Фаза 1: только настройки. Кеш промптов позволяет не платить полную цену за повторяющиеся части запроса: системные инструкции, описания инструментов, справочные документы. AWS обещает скидку до 90% на кешированный вход для поддерживаемых моделей. Пакетная обработка (batch inference) гонит несрочные задачи асинхронно и стоит на 50% дешевле обычного режима для ряда моделей. Подходит для ночных отчётов, обработки документов и прогонов оценки качества.
Фаза 2: архитектура. Intelligent prompt routing отправляет простые запросы на модели поменьше внутри одного семейства и обещает до 30% экономии без потери точности. Стоимость самой маршрутизации стоит проверить в прайсе. Второй приём — оптимизация RAG (когда модель отвечает по найденным документам): нарезка документов по иерархии, фильтры по метаданным и переранжирование, чтобы в модель попадали только нужные куски. Accenture добавляет два своих приёма: каждый агент получает только свой фрагмент документов, а документы сжимаются до отправки в модель.
Фаза 3: инфраструктура и обучение. Семантический кеш возвращает сохранённый ответ на похожий вопрос, даже если формулировка другая. На AWS его собирают на векторном хранилище вроде Amazon ElastiCache перед моделью. В тесте AWS на 63 796 реальных запросах к чат-боту при пороге сходства 90% кеш сработал в 74,5% случаев, точность составила 92,3%, а экономия — 72,5%. Дистилляция переносит знания большой модели в маленькую. По данным AWS, такие модели в Bedrock до 500% быстрее и до 75% дешевле оригинала, а точность падает менее чем на 2% в задачах вроде RAG. Окупается на стабильных задачах с большим объёмом.
Что получилось у клиентов
Крупный корпоративный заказчик гнал все запросы через самую мощную модель без кеша и пакетов. Accenture одновременно включила разделение задач по моделям, кеш промптов и пакетную обработку. Месячные траты на токены упали на 85%. Около 15% задач всё равно требовали топовой модели.
Телеком-оператор тратил $12 млн в год: агенты без ограничений плодили запросы, и всё шло в самую мощную модель. После маршрутизации по сложности, семантического кеша и сжатия контекста входные токены сократились на 70%, а годовые траты упали до $3,8 млн (−68%). Качество сверяли с прежними внутренними тестами оператора.
Страховая компания включила префиксный кеш на уровне модели, горнодобывающая — семантический кеш в приложении. Вместе они сэкономили около 40% без смены моделей и без обучения.
Оговорки важны. Это блог вендора, имена клиентов скрыты, а в двух проектах приёмы вводили одновременно, поэтому вклад каждого неизвестен. Результаты зависят от нагрузки.
Что делать на практике
Повесьте теги, найдите самые дорогие нагрузки через CUR 2.0 и журнал вызовов, включите кеш для интерактивного трафика и batch для асинхронного. Перед изменением зафиксируйте базовые стоимость и качество, проверяйте их на отложенной выборке из реального трафика, а не на синтетике. Меняйте по одному приёму за раз, чтобы можно было откатиться. В регулируемых отраслях документируйте результаты тестов и план отката. При маршрутизации и семантическом кеше оставляйте Guardrails на каждом пути и задавайте срок жизни кеша, чтобы пользователи не получали устаревшие ответы.
- 19 нояб. 2026 г.Skyflow в AgentCore Gateway прячет персональные данные от инструментов ИИ-агентов
- 19 нояб. 2026 г.Два пода делят одну GPU A10G в Amazon EKS: NVIDIA Run:ai дал каждому по 8 ГиБ
- 19 нояб. 2026 г.Anthropic вышла на биржу и собрала $81,3 млрд — рекорд SpaceX в $75 млрд побит
- 19 нояб. 2026 г.Доли Amazon и Google в Anthropic оценили в $308 млрд при IPO по $83 за акцию
Вопросы и ответы по материалу
Что известно по теме: сначала понять, кто и на что тратит?
Без разметки счёт AWS показывает ИИ одной строкой, без деления по командам, агентам и моделям. Поэтому первый шаг — учёт. Для каждого приложения заводят отдельный application inference profile и помечают его тегами: команда, центр затрат, окружение. Затем теги активируют как cost allocation tags в консоли AWS Billing and Cost Management. Данные дают три источника. Отчёты Cost and Usage Reports (CUR 2.0) показывают, сколько денег ушло на каждую нагрузку и команду. CloudWatch считает вызовы и задержки.
Что известно по теме: шесть приёмов в трёх фазах?
Фаза 1: только настройки. Кеш промптов позволяет не платить полную цену за повторяющиеся части запроса: системные инструкции, описания инструментов, справочные документы. AWS обещает скидку до 90% на кешированный вход для поддерживаемых моделей. Пакетная обработка (batch inference) гонит несрочные задачи асинхронно и стоит на 50% дешевле обычного режима для ряда моделей. Подходит для ночных отчётов, обработки документов и прогонов оценки качества. Фаза 2: архитектура.
Что известно по теме: что получилось у клиентов?
Крупный корпоративный заказчик гнал все запросы через самую мощную модель без кеша и пакетов. Accenture одновременно включила разделение задач по моделям, кеш промптов и пакетную обработку. Месячные траты на токены упали на 85%. Около 15% задач всё равно требовали топовой модели. Телеком-оператор тратил $12 млн в год: агенты без ограничений плодили запросы, и всё шло в самую мощную модель.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.