Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарCloudflare AI Blog→ оригинал

Cloudflare: запросы ИИ-агентов выросли на 1700%, и сайтам предлагают брать с них плату

Раньше поисковик присылал на сайт людей, а люди приносили рекламу и подписки. Теперь, по данным Cloudflare, запросы ИИ-агентов за год выросли более чем на 1700%, и впервые больше половины трафика создали не люди. Агент читает страницу и пересказывает её пользователю, поэтому сайт тратит ресурсы без посетителя. Вывод: ботов лучше разделять по задачам и брать плату с агентов, а не блокировать всех подряд.

AI-обработка оригинала Cloudflare AI Blog; редакция Hamidun News
Cloudflare: запросы ИИ-агентов выросли на 1700%, и сайтам предлагают брать с них плату
Источник: Cloudflare AI Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникCloudflare AI Blog ↗
Главный редактор
Ключевой факт #1В ритейле, софте и финансах человеческий трафик за год упал до 40%
Ключевой факт #2Pay Per Use платит издателю за реальное использование текста, а не за обход
Ключевой факт #3Monetization Gateway отвечает агенту кодом 402 и берёт оплату по x402

Представьте небольшой сайт с обзорами. Раньше его читали люди, которые пришли из поиска, смотрели рекламу и иногда покупали подписку. Теперь вопрос задают чат-боту, а бот-агент сам заходит на сайт, вытаскивает из страницы нужное и пересказывает пользователю. Сайт платит за трафик и серверные мощности, а посетителя и рекламного показа нет. Именно эту проблему описывает Cloudflare в посте «У интернета появилась вторая аудитория». По её данным, ежедневные запросы ИИ-агентов (программ, которые действуют по поручению человека) за год выросли более чем на 1700%. В этом году впервые больше половины всего интернет-трафика создали не люди.

Что происходит с трафиком

В конце 2024 года сеть Cloudflare обрабатывала в среднем 63 миллиона HTTP-запросов в секунду, сейчас около 115 миллионов, с пиками выше 150 миллионов. Люди при этом никуда не делись, но в самых активно обходимых категориях (ритейл, софт, IT-услуги, финансы) человеческий трафик меньше чем за год упал на величину до 40%.

Растёт и доля краулеров, которые собирают тексты для обучения моделей: весной 2025 года на них приходилось 22% запросов краулеров, к июню 2026-го уже 52% (по заявленной цели самих ботов).

Cloudflare разделяет два типа ботов. Обучающий краулер забирает страницы один раз. Агент возвращается каждый раз, когда кто-то спрашивает про этот контент, поэтому его трафик растёт с числом вопросов, а не с объёмом того, что вы публикуете. Часть агентов при этом работает как покупатель: бронирует столик, сравнивает страховки. Отказав такому агенту, можно отказать человеку, который его послал.

Как предлагают зарабатывать

Первый шаг — видеть, кто приходит. С июля общий переключатель «блокировать ИИ-ботов» заменили тремя отдельными: для поиска, для агентов и для обучения. Они доступны на всех тарифах, включая бесплатный. Статистика объясняет, зачем это нужно: поисковых краулеров блокирует меньше 1% сайтов, а обучающих — 17%. С 15 сентября есть опция Disallow AI Training: сайт остаётся в выдаче, но оператору бота сообщают, что данные нельзя брать для обучения. Apple, Google и Microsoft обещали это учитывать. Чтобы отличать настоящих агентов от подделок, служит Web Bot Auth: OpenAI, Google и AWS криптографически подписывают запросы своих агентов.

Второй шаг — деньги, и тут два бета-продукта.

Pay Per Use платит издателю не за обход страницы, а за фактическое использование контента. Покупатель — проверенный краулер, он сам определяет, что считается использованием и сколько за это платит. Издатель видит предложение, вправе согласиться или выйти в любой момент, а Cloudflare проверяет отчёты покупателя, выставляет счёт и переводит деньги. Схема рассчитана на тех, кому не светит личный договор с ИИ-компанией, например на отраслевой журнал для морских инженеров. С 2023 года подписано больше 50 лицензионных сделок между издателями и ИИ-компаниями, почти все индивидуальные и между крупными игроками.

Monetization Gateway работает как касса на входе. Вы правилами назначаете цену на запрос, и когда правило срабатывает, агент получает ответ HTTP 402 Payment Required («требуется оплата») и платит продавцу напрямую по открытому протоколу x402. Цена может быть за запрос, за обращение к базе или за токен, фиксированной или с потолком. Пример из поста: спортивный сайт берёт долю цента, когда агент спрашивает «кто лидирует по передачам». Это закрытая бета для подходящих клиентов из США. В лист ожидания записались тысячи продавцов, а самая частая просьба — «берите деньги с агентов, а не с людей».

Расходы и оговорки

Есть и вторая сторона: многие краулеры снова и снова скачивают страницы, сделанные для людей, ради пары абзацев текста, и заходят на сайты, которые не менялись. Для этого Cloudflare предлагает Markdown for Agents, чтобы агент читал страницу без вёрстки, и WebMCP, чтобы сайт сам показывал доступные действия, а не заставлял агента угадывать, какую кнопку нажать. В дашборде уже видно, сколько трафика потребляет каждый оператор. Результаты совместного исследования с OpenAI об эффективной индексации обещают в ближайшие недели.

Оговорки очевидны. Пост написала сама Cloudflare, у которой есть коммерческий интерес: за её сетью находится больше 20% веба. Цены и способы находить контент авторы называют нерешёнными, поэтому оба продукта вышли в бете. Заработает ли схема, зависит от готовности ИИ-компаний платить.

Практический вывод. Если у вас сайт, настройте политику для ботов по задачам, а не одним рубильником. Если у вас API или MCP-инструменты, продумайте оплату за вызов и ответ 402. Если вы строите агентов, учитывайте, что бесплатный доступ к сайтам может стать платным.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что происходит с трафиком?

В конце 2024 года сеть Cloudflare обрабатывала в среднем 63 миллиона HTTP-запросов в секунду, сейчас около 115 миллионов, с пиками выше 150 миллионов. Люди при этом никуда не делись, но в самых активно обходимых категориях (ритейл, софт, IT-услуги, финансы) человеческий трафик меньше чем за год упал на величину до 40%. Растёт и доля краулеров, которые собирают тексты для обучения моделей: весной 2025 года на них приходилось 22% запросов краулеров, к июню 2026-го уже 52% (по заявленной цели самих ботов).

Что известно по теме: как предлагают зарабатывать?

Первый шаг — видеть, кто приходит. С июля общий переключатель «блокировать ИИ-ботов» заменили тремя отдельными: для поиска, для агентов и для обучения. Они доступны на всех тарифах, включая бесплатный. Статистика объясняет, зачем это нужно: поисковых краулеров блокирует меньше 1% сайтов, а обучающих — 17%. С 15 сентября есть опция Disallow AI Training: сайт остаётся в выдаче, но оператору бота сообщают, что данные нельзя брать для обучения. Apple, Google и Microsoft обещали это учитывать.

Что известно по теме: расходы и оговорки?

Есть и вторая сторона: многие краулеры снова и снова скачивают страницы, сделанные для людей, ради пары абзацев текста, и заходят на сайты, которые не менялись. Для этого Cloudflare предлагает Markdown for Agents, чтобы агент читал страницу без вёрстки, и WebMCP, чтобы сайт сам показывал доступные действия, а не заставлял агента угадывать, какую кнопку нажать. В дашборде уже видно, сколько трафика потребляет каждый оператор.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…