Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарAWS Machine Learning Blog→ оригинал

AWS показала: модель с вдвое дороже токеном обходится на 65% дешевле за задачу

Цена токена в прайсе Bedrock не равна цене работы. В примере AWS модель с вдвое более высокой ценой за токен разобрала письмо клиента за $0,00145, а «дешёвая» — за $0,0042: выходит на 65% дешевле. «Дешёвая» дробит текст на 50% больше токенов, раздувает ответ втрое и делает три хода вместо одного. Поэтому сравнивайте модели по стоимости задачи на своих данных, а не по прайсу.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AWS показала: модель с вдвое дороже токеном обходится на 65% дешевле за задачу
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Токены ответа обычно в 3–5 раз дороже входных, лишние слова бьют по счёту
Ключевой факт #2Каждый ход агента заново отправляет всю историю как входные токены
Ключевой факт #3Цена успешной задачи = цена попытки / доля успешных попыток

Представьте, что вы выбираете модель для агента, который читает письма клиентов, достаёт из них данные и отвечает строгим JSON. В прайсе Amazon Bedrock одна модель стоит $0,50 за миллион входных токенов, другая — $1,00. Очевидный выбор — первая. Но во второй части серии о расходах на Bedrock инженеры AWS показывают на примере, что всё наоборот: модель с вдвое более высокой ценой за токен выполнила задачу за $0,00145, а «дешёвая» — за $0,0042. Это на 65% дешевле. Причина в том, что счёт выставляют не за токен, а за выполненную работу: разобранное письмо, извлечённые поля из накладной, ответ пользователю.

Первая часть серии отвечала на вопрос, кто потратил деньги и как ограничить расходы. Вторая закрывает два оставшихся вопроса: почему конкретный сценарий дорогой и окупается ли агент по сравнению с людьми.

Четыре скрытые статьи расхода

AWS выделяет четыре фактора, которых нет на странице с ценами.

Первый — токенизатор. У каждого семейства моделей свой словарь, и один и тот же текст или JSON превращается в разное число токенов. Если у модели A цена ниже на 15%, но ваши данные занимают у неё на 40% больше токенов, дешевле выходит модель B. С нелатинскими алфавитами разрыв ещё больше: текст может дробиться в два–три раза сильнее английского.

Второй — многословность. Токены ответа обычно в 3–5 раз дороже входных. Если модель игнорирует инструкцию «верни только JSON» и добавляет вежливые пояснения, вы переплачиваете за пустые слова.

Третий — циклы агента. При вызове инструментов модель делает несколько ходов, и каждый заново получает всю историю переписки и результаты инструментов. Четыре хода с растущим контекстом стоят несоизмеримо дороже одного прохода.

Четвёртый — рассуждения. Токены «размышлений» тарифицируются как выходные: 2000 токенов мысли и 200 токенов ответа дают счёт за 2200. Некоторые модели скрывают рассуждения, но берут за них деньги. Совет AWS: держать их выключенными, пока тесты не покажут разрыв в качестве, который оправдывает цену.

Как получились 65%

В примере агент читает письмо на 750 слов, достаёт сущности, проверяет статус аккаунта через API и отдаёт строгий JSON. Модель A («дешёвая») тратит 1500 токенов на первый ход против 1000 у модели B, отвечает 450 токенами против 150 и делает три хода вместо одного: она путается со схемой инструмента и исправляет ошибки. В сумме 6150 входных токенов против 1000. Итог: $0,0042 у A и $0,00145 у B. Цены в примере условные, поэтому проверять нужно на своих данных.

Для реальной работы нужна ещё и стоимость успешной задачи. Если задачу повторяют до успеха, это цена попытки, делённая на долю успехов. Если при неудаче задача уходит человеку, к цене попытки добавляется доля неудач, умноженная на цену эскалации.

Для замеров AWS советует оценку моделей Bedrock для качества, CountTokens для сравнения токенизаторов без запуска генерации и блок usage в ответе модели. Нюанс: при включённом кэшировании поле inputTokens считает только некэшированные токены. Общий объём входа — сумма inputTokens, cacheReadInputTokens и cacheWriteInputTokens, но оплачиваются они по разным ставкам. Точки кэша со временем «уплывают»: инструменты устаревают, и через три месяца вы будете чаще писать в кэш, поэтому настройки стоит пересматривать.

Рычагов снижения четыре. Кэширование промптов убирает повторную пересылку контекста и даёт больше всего на агентских путях. Маршрутизация отправляет простые запросы на более дешёвую модель того же семейства. Схема инструмента и лимит maxTokens сдерживают многословность надёжнее, чем просьбы в тексте промпта. Пакетная обработка вдвое снижает ставку для массовых одношаговых задач, но не поддерживает вызов инструментов.

Как доказать, что агент окупается

Здесь AWS настаивает на дисциплине. Сначала опишите человеческий процесс: что запускает работу, кто участвует, где передача между ролями, что считается завершением. Затем замерьте базовый уровень до запуска агента: время выполнения, очередь, долю повторных открытий, стоимость задачи. Базу, восстановленную по памяти, брать нельзя: она систематически льстит агенту.

Дальше каждый запуск агента фиксируют как запись эксперимента: идентификатор, группа (агент или контроль), версия промпта, число повторов и вызовов инструментов, токены, итог. Особенно важны минуты человека на проверку и идентификатор события выручки: без первых агент выглядит бесплатным, без второго потом не привязать деньги.

По этим данным одним SQL-запросом в Athena получают три цифры: стоимость успешного результата, число повторов на успех и минуты человека на успех. Стоимость вызова льстит агентам, которые крутятся в циклах, а стоимость успеха — нет.

Для итоговой оценки AWS предлагает сравнение с контрольной группой и табель из пяти измерений: внедрение (зелёная зона — более 70% активных пользователей), качество (более 90% задач без доработки), эффективность, стоимость успеха и влияние на бизнес. Зелёный цвет означает масштабирование, жёлтый — доработку, красный — закрытие. Пороги — отправная точка, а не норма. Сами авторы признают: табель работает, только если команда действительно отключает красных агентов.

Что делать на практике

Разработчикам: сравнивайте модели на своём трафике и считайте токены всех ходов задачи, а не одного запроса. Продактам и FinOps: заранее заводите контрольную группу и записывайте время людей. Ограничение материала в том, что цены и пороги иллюстративные, а часть рычагов привязана к возможностям Bedrock. Сама логика — считать стоимость успеха, а не вызова — подходит и другим платформам.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: четыре скрытые статьи расхода?

AWS выделяет четыре фактора, которых нет на странице с ценами. Первый — токенизатор. У каждого семейства моделей свой словарь, и один и тот же текст или JSON превращается в разное число токенов. Если у модели A цена ниже на 15%, но ваши данные занимают у неё на 40% больше токенов, дешевле выходит модель B. С нелатинскими алфавитами разрыв ещё больше: текст может дробиться в два–три раза сильнее английского. Второй — многословность. Токены ответа обычно в 3–5 раз дороже входных.

Что известно по теме: как получились 65%?

В примере агент читает письмо на 750 слов, достаёт сущности, проверяет статус аккаунта через API и отдаёт строгий JSON. Модель A («дешёвая») тратит 1500 токенов на первый ход против 1000 у модели B, отвечает 450 токенами против 150 и делает три хода вместо одного: она путается со схемой инструмента и исправляет ошибки. В сумме 6150 входных токенов против 1000. Итог: $0,0042 у A и $0,00145 у B. Цены в примере условные, поэтому проверять нужно на своих данных.

Что известно по теме: как доказать, что агент окупается?

Здесь AWS настаивает на дисциплине. Сначала опишите человеческий процесс: что запускает работу, кто участвует, где передача между ролями, что считается завершением. Затем замерьте базовый уровень до запуска агента: время выполнения, очередь, долю повторных открытий, стоимость задачи. Базу, восстановленную по памяти, брать нельзя: она систематически льстит агенту.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…