Airbnb сменил модель для кодинг-агентов — расходы тяжёлых пользователей упали в 7 раз
Airbnb выбирает модели для кодинг-агентов по цене целой задачи, а не по бенчмаркам. Модель A выиграла в тестах 3+ балла, но в проде каждый запрос подорожал втрое и запросов стало втрое больше. Тяжёлых пользователей пересадили на модель с ценой задачи в 6 раз ниже — их расходы упали в 7 раз. Вывод: сверяйте тесты с реальным счётом после выката.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Представьте: вы заменили в команде модель для кодинг-агента на ту, что лучше всех выглядит в тестах, а через несколько недель бухгалтерия присылает счёт, который в разы больше ожидаемого. Именно так случилось в Airbnb. Модель A набрала на внутренних задачах на три с лишним балла больше прежнего лидера при примерно той же цене, но в проде каждый запрос подорожал втрое, а инженеры стали отправлять втрое больше запросов.
Когда тяжёлых пользователей пересадили на другую модель, их расходы на основную модель упали примерно в 7 раз. Компания рассказала в блоге AWS, как избежать такой ловушки на Amazon Bedrock: считать не цену за миллион токенов, а цену целой задачи (cost per task) — стоимость всех токенов, которые агент потратил, чтобы довести одну задачу до результата.
Почему бенчмарки не отвечают на главный вопрос
Внутренним инструментом AirChat для запуска кодинг-агентов каждую неделю пользуются тысячи сотрудников. Все запросы идут через LLM-шлюз поверх Bedrock. За пять недель вышло восемь новых моделей, и к середине октября около двух третей запросов уже уходило на них. Каждая модель одновременно меняет число выходных токенов, цену, задержки и нагрузку на квоты, а графики из анонса не показывают, как она справится с работой именно ваших инженеров.
Поэтому у Airbnb две системы. До выката на собственных задачах измеряют балл и цену задачи для каждой модели и каждого уровня reasoning effort — настройки, которая задаёт, сколько модель «думает» перед ответом. После выката смотрят, что изменилось в проде.
Агент делает много запросов на одну задачу, и на каждом модель заново читает накопленный контекст. Поэтому считают четыре типа токенов: обычный вход, чтение из кэша, запись в кэш и выход. Усреднение включает и неудачные попытки. На одной из моделей переход с low на high effort дал +0,8 балла при цене задачи в 2,5 раза выше. По таким данным задают потолки effort, которые шлюз реально ограничивает.
Оценка идёт быстро: в день релиза один запрос запускает кампанию по семи наборам задач, к утру у модели есть балл и цена. Каждая задача — папка с инструкцией, Dockerfile, проверяющим скриптом и эталонным решением. Для старта авторы советуют открытый фреймворк Harbor. Сложнее всего писать рубрику: длинные задачи идут в несколько раундов с симулированным ревьюером, а модель-судья оценивает работу по восьми критериям. Если ревьюеру пришлось неоднократно вытаскивать агента, итог ограничен 25 баллами из 100.
Когда хорошая оценка обернулась счётом
Модель A выкатили, ограничили effort уровнем high и попросили использовать low или medium. Через несколько недель траты на пользователя оказались в разы выше. Выходные токены составляли лишь десятую часть стоимости запроса, а основные деньги уходили на кэшированный контекст, который перечитывался снова и снова. Модель умела долго работать самостоятельно, и люди запускали длинные автономные сессии.
Позже вышла модель, набравшая на тех же задачах больше баллов при цене задачи примерно в 6 раз ниже. Пользователей модели A перевели на неё сменой конфигурации. За первую полную неделю число запросов осталось прежним, а расходы группы на основную модель упали примерно в 7 раз.
Мониторинг, квоты и атрибуция расходов
Если выросла задержка, Airbnb смотрит три метрики: TimeToFirstToken, OutputTokenCount и выведенную скорость генерации (OTPS = OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000). В примере задержка выросла на 40%, а скорость осталась прежней: кто-то поправил системный промпт, и ответы стали на 50% длиннее. Смену промпта и модели авторы советуют отмечать на дашборде как деплои.
С квотами путаница другая. Bedrock резервирует под запрос входные токены без кэша, записи в кэш и max_tokens. Чтения из кэша в квоту не входят, поэтому запрос может быть дешёвым для квоты и дорогим для счёта. В примере с квотой 1 млн токенов в минуту и 300 запросами в минуту дашборд показывал около 30%, но с учётом коэффициента 5:1 для выходных токенов фактически выходило около 77%. Резерв на запрос составлял 4696 токенов, хотя ответы укладывались примерно в 800 токенов на p99. Снижение max_tokens до 1024 уменьшило резерв до 1624 токенов, то есть примерно на 65%, и квота стала пропускать больше запросов. За обрезанными ответами следят по stopReason.
Для каждой крупной модели Airbnb держит эквивалент по результатам оценки, на который можно перебалансировать трафик конфигурацией. Для моделей в статусе Legacy ставят тревогу на LegacyModelInvocations. Расходы по командам считают через теги IAM-ролей и application inference profiles, а метаданные запроса идут только в логи, не в счёт.
Что взять себе
- Считайте цену целой задачи, а не цену за миллион токенов.
- После выката сверяйте результат оценки с долей кэша и числом запросов на человека.
- Ограничивайте max_tokens и effort, держите запасную модель.
Ограничение: цены берутся по публичному прайсу, а не по реальным скидкам, и нужен свой набор задач с надёжным грейдером.
- 18 нояб. 2026 г.AWS встроил Dynamo в HyperPod: Qwen3-235B выдаёт 207 вместо 101 токена/с на GPU
- 18 нояб. 2026 г.Новая модель Jev отвечает за 150 мс вместо 1,89 с у GPT-6 Astra
- 18 нояб. 2026 г.AWS показала, как пустить агентов Bedrock к частным API через центральный файрвол
- 18 нояб. 2026 г.Duco ужала контекст агентов на 90% и в 10 раз ускорила перенос сверок банков
Вопросы и ответы по материалу
Что известно по теме: почему бенчмарки не отвечают на главный вопрос?
Внутренним инструментом AirChat для запуска кодинг-агентов каждую неделю пользуются тысячи сотрудников. Все запросы идут через LLM-шлюз поверх Bedrock. За пять недель вышло восемь новых моделей, и к середине октября около двух третей запросов уже уходило на них. Каждая модель одновременно меняет число выходных токенов, цену, задержки и нагрузку на квоты, а графики из анонса не показывают, как она справится с работой именно ваших инженеров. Поэтому у Airbnb две системы.
Что известно по теме: когда хорошая оценка обернулась счётом?
Модель A выкатили, ограничили effort уровнем high и попросили использовать low или medium. Через несколько недель траты на пользователя оказались в разы выше. Выходные токены составляли лишь десятую часть стоимости запроса, а основные деньги уходили на кэшированный контекст, который перечитывался снова и снова. Модель умела долго работать самостоятельно, и люди запускали длинные автономные сессии. Позже вышла модель, набравшая на тех же задачах больше баллов при цене задачи примерно в 6 раз ниже.
Что известно по теме: мониторинг, квоты и атрибуция расходов?
Если выросла задержка, Airbnb смотрит три метрики: TimeToFirstToken, OutputTokenCount и выведенную скорость генерации (OTPS = OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000). В примере задержка выросла на 40%, а скорость осталась прежней: кто-то поправил системный промпт, и ответы стали на 50% длиннее. Смену промпта и модели авторы советуют отмечать на дашборде как деплои. С квотами путаница другая. Bedrock резервирует под запрос входные токены без кэша, записи в кэш и max_tokens.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.