Cloudflare запустила Auto Router: выбор модели за сотрудника, экономия до 30%

Cloudflare выпустила в публичную бету Auto Router, функцию AI Gateway, которая сама выбирает модель для каждого запроса. В клиенте или агенте достаточно указать cloudflare/auto. Дальше шлюз решает, нужен ли для задачи флагман или хватит модели подешевле. В работе через внутренний агентный инструмент OpenCode компания получила экономию до 30% относительно использования только флагманских моделей. На собственном бенчмарке по офисным задачам роутер стоил $2,10 против $5,91 у Claude Opus 5.5, но и проиграл ему в доле успешных выполнений.

Шлюз выбирает модель за сотрудника

Старая логика контроля расходов на ИИ строилась на бюджетах, лимитах и привязке трат к конкретным людям. Cloudflare описывает типичный путь компаний так. Сначала все свободно раздают API-ключи и тестируют каждый новый инструмент. Потом остаются несколько основных решений для кодинга, нетехнических задач и запуска агентов. Но в OpenCode, Claude Code и Codex модель по-прежнему выбирает сам пользователь, и нередко берёт избыточно мощную. Opus не нужен, чтобы пересказать письмо или переписку в чате. При этом блокировать его для команды безопасности тоже нежелательно.

AI Gateway уже видит каждый запрос пользователей, агентов и инструментов, поэтому может принимать это решение централизованно. Экономия достаётся компании без изменения привычек сотрудников.

Двухступенчатая схема: классификатор и матрица оценок

Сначала шлюз формирует пул допустимых моделей. Он отсекает те, что не поддерживают формат запроса или режим выполнения, учитывает ключи, настройки биллинга, политики доступа и лимиты расходов. Модели и провайдеры с простоем временно исключаются и возвращаются после восстановления.

Дальше работает мультиголовый классификатор на Workers AI, развёрнутый на GPU по всей периферийной сети Cloudflare. Он смотрит на сжатый срез диалога с приоритетом свежих реплик и выдаёт два набора сигналов. Первый — вероятности по 14 категориям задач: кодинг, планирование, исследование, анализ данных и другие. Второй — оценки от 1 до 5 по четырём осям: сложность, неоднозначность, цена ошибки и зависимость от предыдущего контекста.

Эти сигналы попадают в отдельную матрицу оценок, где объединяются с бенчмарками моделей. Веса откалиброваны на наборе примеров, для которых заранее определили предпочтительную модель. Итог считается по формуле utility = ожидаемое качество − адаптивный штраф за стоимость. На простых запросах цена весит больше и побеждает модель поменьше. С ростом сложности штраф падает, и выигрывают сильные модели. На выходе роутер выдаёт ранжированный список, а шлюз пробует первую модель и при отказе провайдера переходит к следующей.

Плюс схемы в прозрачности: можно посмотреть предсказанную категорию и сложность задачи и понять, почему выбрана именно эта модель. Новую модель добавляют без переобучения, достаточно внести в матрицу веса из её бенчмарков.

Кэш как скрытая статья расходов

В длинных агентных сессиях, например при отладке, затраты определяет не прайс-лист, а чтение кэша, которое дорожает с длиной сессии. Смена модели сбрасывает кэш, и новой модели приходится заново записывать весь контекст. Поэтому внутри одного хода (цикла обработки одного пользовательского ввода) роутер почти всегда остаётся на текущей модели. Между ходами он применяет штраф за переключение, растущий вместе с числом токенов в контексте. Модель с живым кэшем оценивается по тарифу чтения, а остальные кандидаты по полной цене перезаписи контекста.

Есть и второй скрытый расход: большинство моделей не читают токены рассуждений друг друга. После переключения новая модель может заново выполнять уже сделанное, но по выходным тарифам. В будущем Cloudflare хочет, чтобы роутер при смене предпочитал модели того же семейства.

Что показал внутренний бенчмарк

Тест имитирует рабочее пространство с почтой, календарём, Slack, файлами, поездками и финансами. Каждая задача требует выдать проверяемый ответ или выполнить действие. Всего 97 задач, по три прогона на модель, то есть 291 попытка. Доверительные интервалы 95% посчитаны бутстрэпом на 10 000 выборок.

• cloudflare/auto: 252 из 291 успешных, 86,6% (+6,2/−6,9 п. п.), общая стоимость $2,10, $0,0084 за успех • Anthropic Claude Opus 5.5: 281 из 291, 96,6% (+2,7/−3,8 п. п.), $5,91, $0,0210 за успех • OpenAI GPT-6 Sol: 245 из 291, 84,2% (+6,5/−6,9 п. п.), $2,64, $0,0108 за успех

Cloudflare называет результат сопоставимым с лучшими повседневными моделями: роутер стоит 80% от Sol и 35% от Opus. Но цифры нужно читать внимательно. С Sol auto сравним по качеству и дешевле. От Opus он отстаёт примерно на 10 п. п., а интервалы не пересекаются, так что экономия в 2,5 раза за успех оплачена потерей качества. Для суммаризации и рутинных запросов это нормальный обмен, для критичных задач нет. Отдельно компания отмечает, что дешёвая по прайсу модель может израсходовать непропорционально больше токенов, поэтому роутер минимизирует прогнозируемую стоимость всей траектории, а не цену за миллион токенов.

Как подключать и что дальше

Начать можно прямо сейчас: в бете Auto Router бесплатен, в настройках агента или клиента достаточно указать cloudflare/auto. Логично сначала пустить через него нетехнические сценарии и рутинный кодинг, а задачи с высокой ценой ошибки оставить на флагмане. Для этого понадобится собственный бенчмарк на реальных данных, как у Cloudflare.

В планах: расширить пул моделей, учитывать требования zero data retention при фильтрации, принимать во внимание ёмкость провайдеров, выбирать уровень рассуждения для каждого запроса, добавить полную поддержку Responses API и WebSockets, а также протестировать структурированные модели принятия решений как первичный классификатор. Позже появится cloudflare/auto-best, который использует тот же пул и классификатор, но выбирает модель с максимальным ожидаемым качеством без учёта цены.