Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарCloudflare AI Blog→ оригинал

Cloudflare покажет, где команды переплачивают за слишком мощные ИИ-модели

Счёт за ИИ растёт, а токены не говорят, на что ушли деньги. Cloudflare добавила в AI Gateway раздел Overkill: он находит диалоги, где простую задачу вроде форматирования или краткого пересказа отправили в тяжёлую reasoning-модель. Рядом видны пользователи и агенты, стоимость, задержка и число реплик. Поэтому команде легче понять, где пора сменить модель по умолчанию.

AI-обработка оригинала Cloudflare AI Blog; редакция Hamidun News
Cloudflare покажет, где команды переплачивают за слишком мощные ИИ-модели
Источник: Cloudflare AI Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникCloudflare AI Blog ↗
Главный редактор
Ключевой факт #1Функции бесплатны для пользователей AI Gateway
Анализ идёт асинхронноданные отстают от трафика примерно на сутки
Ключевой факт #3Auto Router в бете сам выбирает модель под задачу, не всегда самую дешёвую

Через несколько недель после внедрения ИИ в компании почти всегда повторяется одна и та же история: расходы растут, часть запросов отвечает медленнее, а понять причину нельзя. Разработчики могли взяться за более сложный код. Агенты могли начать делать лишние уточняющие вызовы. Или небольшая группа людей тратит непропорционально много. Счётчики токенов и запросов не отличают эти случаи друг от друга. Cloudflare решила закрыть этот пробел обновлением User Insights в своём AI Gateway.

Что именно показывает раздел Overkill

User Insights появился в AI Gateway месяцем ранее. Он показывал, какие пользователи, приложения и модели создают трафик, и подсвечивал аномалии в расходах. Теперь к нему добавили контекст: что за работа стоит за запросом. Это код-ревью, исследование или агент, который сделал несколько вызовов подряд?

Раздел Overkill ищет диалоги, где выбранная модель, похоже, сильнее, чем нужно для задачи. Типичный пример: форматирование текста или краткий пересказ уходит в дорогую reasoning-модель. Для этого есть бытовая аналогия: везти один пакет молока на грузовике. Работает, но дорого.

Cloudflare подчёркивает, что это не рейтинг моделей и не автоматическая рекомендация замены. Раздел помогает задать вопросы. Подходит ли модель задаче? Улучшает ли лишняя мощность результат? Справится ли быстрая и дешёвая модель? Проблема в одном процессе, у одного пользователя или у одного агента? Причины бывают разные: модель стоит по умолчанию, люди не знают, что выбрать, или агент настроен на одну и ту же модель для каждого шага.

Рядом работает вид Potential Savings. Он показывает запросы, которые, возможно, можно отдать более быстрой или дешёвой модели без потери качества. Также можно сравнить задержку, входные и выходные токены, число реплик и итоговую стоимость для одного типа задач.

Как сервис понимает тип задачи

Анализ группирует диалоги по категориям: программирование, исследование, написание текстов, пересказ и анализ данных. Отдельно анализируется число реплик. Длинный диалог не обязательно плох, особенно в сложной работе. Но если простая задача постоянно требует нескольких заходов, стоит проверить промпт, модель или процесс. К тому же стоимость задачи складывается не из первого запроса, а из всего времени, токенов и денег до финального результата.

Технически классификацию выполняет отдельный Cloudflare Worker. Он читает траекторию диалога: запросы пользователя, ответы ассистента, вызовы инструментов и их результаты. На выходе получается категория, оценка уверенности и ряд параметров: сложность задачи, неоднозначность намерения, цена ошибки и зависимость от контекста.

Важная оговорка для безопасности: метаданные хранятся отдельно от тел логов (Durable Objects для метаданных, R2 для тел). Дашборд показывает производные категории и агрегаты, а не сами промпты. Срок хранения исходных логов определяется текущими настройками AI Gateway, так что их стоит проверить заранее.

Ещё одно ограничение: классификация асинхронная. Она запускается после обработки запроса и не добавляет задержки пользователю. Но данные в дашборде могут отставать примерно на сутки. Это инструмент для анализа трендов, а не для наблюдения за трафиком в реальном времени.

Кто и как попадает в отчёт, и при чём тут Auto Router

Чтобы связать траты с людьми, AI Gateway использует идентификацию. Для собственных приложений в запросе нужны стабильные user_id и session_id, плюс по желанию группа и название приложения в заголовке cf-aig-metadata. Cloudflare советует передавать неличные идентификаторы и не класть данные о людях в промпт. Для инструментов вроде Claude Code, Codex и OpenCode достаточно поставить AI Gateway за Cloudflare Access: контекст пользователя и сессии подтянется сам. Access бесплатен для команд до 50 человек.

Вторая часть релиза — Auto Router. Он берёт те же сигналы (траекторию диалога, категорию, сложность и соответствие модели задаче) и сам выбирает модель с учётом стоимости. Идея в том, чтобы не писать отдельное правило маршрутизации для каждого сценария. Сложный код или исследование по-прежнему могут уходить в мощную модель, а простые задачи — в быструю и дешёвую. В тексте анонса Auto Router назван и публичной, и закрытой бетой; запись в бету идёт через отдельный пост Cloudflare, поэтому доступ стоит проверять отдельно.

Что делать на практике

Если ваши агенты и сотрудники ходят в одну топовую модель, начните с проверки: какая доля трафика приходится на пересказы, форматирование и классификацию и сколько реплик такие задачи занимают. Если большинство диалогов закрывается за один ход, это явный кандидат на более дешёвую модель. Cloudflare не публикует цифр экономии, поэтому проверять гипотезу придётся на своих данных. Но сам подход разумен: сначала понять работу, потом выбирать модель. Все описанные функции User Insights бесплатны для пользователей AI Gateway.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно показывает раздел Overkill?

User Insights появился в AI Gateway месяцем ранее. Он показывал, какие пользователи, приложения и модели создают трафик, и подсвечивал аномалии в расходах. Теперь к нему добавили контекст: что за работа стоит за запросом. Это код-ревью, исследование или агент, который сделал несколько вызовов подряд? Раздел Overkill ищет диалоги, где выбранная модель, похоже, сильнее, чем нужно для задачи. Типичный пример: форматирование текста или краткий пересказ уходит в дорогую reasoning-модель.

Что известно по теме: как сервис понимает тип задачи?

Анализ группирует диалоги по категориям: программирование, исследование, написание текстов, пересказ и анализ данных. Отдельно анализируется число реплик. Длинный диалог не обязательно плох, особенно в сложной работе. Но если простая задача постоянно требует нескольких заходов, стоит проверить промпт, модель или процесс. К тому же стоимость задачи складывается не из первого запроса, а из всего времени, токенов и денег до финального результата. Технически классификацию выполняет отдельный Cloudflare Worker.

Что известно по теме: кто и как попадает в отчёт, и при чём тут Auto Router?

Чтобы связать траты с людьми, AI Gateway использует идентификацию. Для собственных приложений в запросе нужны стабильные user_id и session_id, плюс по желанию группа и название приложения в заголовке cf-aig-metadata. Cloudflare советует передавать неличные идентификаторы и не класть данные о людях в промпт. Для инструментов вроде Claude Code, Codex и OpenCode достаточно поставить AI Gateway за Cloudflare Access: контекст пользователя и сессии подтянется сам. Access бесплатен для команд до 50 человек.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…