Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
РазборНаучная статья · В песочницуAWS Machine Learning Blog→ оригинал

Airbnb сменил модель для кодинг-агентов — расходы тяжёлых пользователей упали в 7 раз

Airbnb выбирает модели для кодинг-агентов по цене целой задачи, а не по бенчмаркам. Модель A выиграла в тестах 3+ балла, но в проде каждый запрос подорожал втрое и запросов стало втрое больше. Тяжёлых пользователей пересадили на модель с ценой задачи в 6 раз ниже — их расходы упали в 7 раз. Вывод: сверяйте тесты с реальным счётом после выката.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Airbnb сменил модель для кодинг-агентов — расходы тяжёлых пользователей упали в 7 раз
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Цена задачи — все токены агента на одну задачу по прайс-листу
Effort low→high+0,8 балла, но цена задачи выше в 2,5 раза
Ключевой факт #3max_tokens 4096→1024 снизил резерв квоты на 65%

Представьте: вы заменили в команде модель для кодинг-агента на ту, что лучше всех выглядит в тестах, а через несколько недель бухгалтерия присылает счёт, который в разы больше ожидаемого. Именно так случилось в Airbnb. Модель A набрала на внутренних задачах на три с лишним балла больше прежнего лидера при примерно той же цене, но в проде каждый запрос подорожал втрое, а инженеры стали отправлять втрое больше запросов.

Когда тяжёлых пользователей пересадили на другую модель, их расходы на основную модель упали примерно в 7 раз. Компания рассказала в блоге AWS, как избежать такой ловушки на Amazon Bedrock: считать не цену за миллион токенов, а цену целой задачи (cost per task) — стоимость всех токенов, которые агент потратил, чтобы довести одну задачу до результата.

Почему бенчмарки не отвечают на главный вопрос

Внутренним инструментом AirChat для запуска кодинг-агентов каждую неделю пользуются тысячи сотрудников. Все запросы идут через LLM-шлюз поверх Bedrock. За пять недель вышло восемь новых моделей, и к середине октября около двух третей запросов уже уходило на них. Каждая модель одновременно меняет число выходных токенов, цену, задержки и нагрузку на квоты, а графики из анонса не показывают, как она справится с работой именно ваших инженеров.

Поэтому у Airbnb две системы. До выката на собственных задачах измеряют балл и цену задачи для каждой модели и каждого уровня reasoning effort — настройки, которая задаёт, сколько модель «думает» перед ответом. После выката смотрят, что изменилось в проде.

Агент делает много запросов на одну задачу, и на каждом модель заново читает накопленный контекст. Поэтому считают четыре типа токенов: обычный вход, чтение из кэша, запись в кэш и выход. Усреднение включает и неудачные попытки. На одной из моделей переход с low на high effort дал +0,8 балла при цене задачи в 2,5 раза выше. По таким данным задают потолки effort, которые шлюз реально ограничивает.

Оценка идёт быстро: в день релиза один запрос запускает кампанию по семи наборам задач, к утру у модели есть балл и цена. Каждая задача — папка с инструкцией, Dockerfile, проверяющим скриптом и эталонным решением. Для старта авторы советуют открытый фреймворк Harbor. Сложнее всего писать рубрику: длинные задачи идут в несколько раундов с симулированным ревьюером, а модель-судья оценивает работу по восьми критериям. Если ревьюеру пришлось неоднократно вытаскивать агента, итог ограничен 25 баллами из 100.

Когда хорошая оценка обернулась счётом

Модель A выкатили, ограничили effort уровнем high и попросили использовать low или medium. Через несколько недель траты на пользователя оказались в разы выше. Выходные токены составляли лишь десятую часть стоимости запроса, а основные деньги уходили на кэшированный контекст, который перечитывался снова и снова. Модель умела долго работать самостоятельно, и люди запускали длинные автономные сессии.

Позже вышла модель, набравшая на тех же задачах больше баллов при цене задачи примерно в 6 раз ниже. Пользователей модели A перевели на неё сменой конфигурации. За первую полную неделю число запросов осталось прежним, а расходы группы на основную модель упали примерно в 7 раз.

Мониторинг, квоты и атрибуция расходов

Если выросла задержка, Airbnb смотрит три метрики: TimeToFirstToken, OutputTokenCount и выведенную скорость генерации (OTPS = OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000). В примере задержка выросла на 40%, а скорость осталась прежней: кто-то поправил системный промпт, и ответы стали на 50% длиннее. Смену промпта и модели авторы советуют отмечать на дашборде как деплои.

С квотами путаница другая. Bedrock резервирует под запрос входные токены без кэша, записи в кэш и max_tokens. Чтения из кэша в квоту не входят, поэтому запрос может быть дешёвым для квоты и дорогим для счёта. В примере с квотой 1 млн токенов в минуту и 300 запросами в минуту дашборд показывал около 30%, но с учётом коэффициента 5:1 для выходных токенов фактически выходило около 77%. Резерв на запрос составлял 4696 токенов, хотя ответы укладывались примерно в 800 токенов на p99. Снижение max_tokens до 1024 уменьшило резерв до 1624 токенов, то есть примерно на 65%, и квота стала пропускать больше запросов. За обрезанными ответами следят по stopReason.

Для каждой крупной модели Airbnb держит эквивалент по результатам оценки, на который можно перебалансировать трафик конфигурацией. Для моделей в статусе Legacy ставят тревогу на LegacyModelInvocations. Расходы по командам считают через теги IAM-ролей и application inference profiles, а метаданные запроса идут только в логи, не в счёт.

Что взять себе

  • Считайте цену целой задачи, а не цену за миллион токенов.
  • После выката сверяйте результат оценки с долей кэша и числом запросов на человека.
  • Ограничивайте max_tokens и effort, держите запасную модель.

Ограничение: цены берутся по публичному прайсу, а не по реальным скидкам, и нужен свой набор задач с надёжным грейдером.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему бенчмарки не отвечают на главный вопрос?

Внутренним инструментом AirChat для запуска кодинг-агентов каждую неделю пользуются тысячи сотрудников. Все запросы идут через LLM-шлюз поверх Bedrock. За пять недель вышло восемь новых моделей, и к середине октября около двух третей запросов уже уходило на них. Каждая модель одновременно меняет число выходных токенов, цену, задержки и нагрузку на квоты, а графики из анонса не показывают, как она справится с работой именно ваших инженеров. Поэтому у Airbnb две системы.

Что известно по теме: когда хорошая оценка обернулась счётом?

Модель A выкатили, ограничили effort уровнем high и попросили использовать low или medium. Через несколько недель траты на пользователя оказались в разы выше. Выходные токены составляли лишь десятую часть стоимости запроса, а основные деньги уходили на кэшированный контекст, который перечитывался снова и снова. Модель умела долго работать самостоятельно, и люди запускали длинные автономные сессии. Позже вышла модель, набравшая на тех же задачах больше баллов при цене задачи примерно в 6 раз ниже.

Что известно по теме: мониторинг, квоты и атрибуция расходов?

Если выросла задержка, Airbnb смотрит три метрики: TimeToFirstToken, OutputTokenCount и выведенную скорость генерации (OTPS = OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000). В примере задержка выросла на 40%, а скорость осталась прежней: кто-то поправил системный промпт, и ответы стали на 50% длиннее. Смену промпта и модели авторы советуют отмечать на дашборде как деплои. С квотами путаница другая. Bedrock резервирует под запрос входные токены без кэша, записи в кэш и max_tokens.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…