Cloudflare: запросы ИИ-агентов выросли на 1700%, и сайтам предлагают брать с них плату
Раньше поисковик присылал на сайт людей, а люди приносили рекламу и подписки. Теперь, по данным Cloudflare, запросы ИИ-агентов за год выросли более чем на 1700%, и впервые больше половины трафика создали не люди. Агент читает страницу и пересказывает её пользователю, поэтому сайт тратит ресурсы без посетителя. Вывод: ботов лучше разделять по задачам и брать плату с агентов, а не блокировать всех подряд.
AI-обработка оригинала Cloudflare AI Blog; редакция Hamidun News
Представьте небольшой сайт с обзорами. Раньше его читали люди, которые пришли из поиска, смотрели рекламу и иногда покупали подписку. Теперь вопрос задают чат-боту, а бот-агент сам заходит на сайт, вытаскивает из страницы нужное и пересказывает пользователю. Сайт платит за трафик и серверные мощности, а посетителя и рекламного показа нет. Именно эту проблему описывает Cloudflare в посте «У интернета появилась вторая аудитория». По её данным, ежедневные запросы ИИ-агентов (программ, которые действуют по поручению человека) за год выросли более чем на 1700%. В этом году впервые больше половины всего интернет-трафика создали не люди.
Что происходит с трафиком
В конце 2024 года сеть Cloudflare обрабатывала в среднем 63 миллиона HTTP-запросов в секунду, сейчас около 115 миллионов, с пиками выше 150 миллионов. Люди при этом никуда не делись, но в самых активно обходимых категориях (ритейл, софт, IT-услуги, финансы) человеческий трафик меньше чем за год упал на величину до 40%.
Растёт и доля краулеров, которые собирают тексты для обучения моделей: весной 2025 года на них приходилось 22% запросов краулеров, к июню 2026-го уже 52% (по заявленной цели самих ботов).
Cloudflare разделяет два типа ботов. Обучающий краулер забирает страницы один раз. Агент возвращается каждый раз, когда кто-то спрашивает про этот контент, поэтому его трафик растёт с числом вопросов, а не с объёмом того, что вы публикуете. Часть агентов при этом работает как покупатель: бронирует столик, сравнивает страховки. Отказав такому агенту, можно отказать человеку, который его послал.
Как предлагают зарабатывать
Первый шаг — видеть, кто приходит. С июля общий переключатель «блокировать ИИ-ботов» заменили тремя отдельными: для поиска, для агентов и для обучения. Они доступны на всех тарифах, включая бесплатный. Статистика объясняет, зачем это нужно: поисковых краулеров блокирует меньше 1% сайтов, а обучающих — 17%. С 15 сентября есть опция Disallow AI Training: сайт остаётся в выдаче, но оператору бота сообщают, что данные нельзя брать для обучения. Apple, Google и Microsoft обещали это учитывать. Чтобы отличать настоящих агентов от подделок, служит Web Bot Auth: OpenAI, Google и AWS криптографически подписывают запросы своих агентов.
Второй шаг — деньги, и тут два бета-продукта.
Pay Per Use платит издателю не за обход страницы, а за фактическое использование контента. Покупатель — проверенный краулер, он сам определяет, что считается использованием и сколько за это платит. Издатель видит предложение, вправе согласиться или выйти в любой момент, а Cloudflare проверяет отчёты покупателя, выставляет счёт и переводит деньги. Схема рассчитана на тех, кому не светит личный договор с ИИ-компанией, например на отраслевой журнал для морских инженеров. С 2023 года подписано больше 50 лицензионных сделок между издателями и ИИ-компаниями, почти все индивидуальные и между крупными игроками.
Monetization Gateway работает как касса на входе. Вы правилами назначаете цену на запрос, и когда правило срабатывает, агент получает ответ HTTP 402 Payment Required («требуется оплата») и платит продавцу напрямую по открытому протоколу x402. Цена может быть за запрос, за обращение к базе или за токен, фиксированной или с потолком. Пример из поста: спортивный сайт берёт долю цента, когда агент спрашивает «кто лидирует по передачам». Это закрытая бета для подходящих клиентов из США. В лист ожидания записались тысячи продавцов, а самая частая просьба — «берите деньги с агентов, а не с людей».
Расходы и оговорки
Есть и вторая сторона: многие краулеры снова и снова скачивают страницы, сделанные для людей, ради пары абзацев текста, и заходят на сайты, которые не менялись. Для этого Cloudflare предлагает Markdown for Agents, чтобы агент читал страницу без вёрстки, и WebMCP, чтобы сайт сам показывал доступные действия, а не заставлял агента угадывать, какую кнопку нажать. В дашборде уже видно, сколько трафика потребляет каждый оператор. Результаты совместного исследования с OpenAI об эффективной индексации обещают в ближайшие недели.
Оговорки очевидны. Пост написала сама Cloudflare, у которой есть коммерческий интерес: за её сетью находится больше 20% веба. Цены и способы находить контент авторы называют нерешёнными, поэтому оба продукта вышли в бете. Заработает ли схема, зависит от готовности ИИ-компаний платить.
Практический вывод. Если у вас сайт, настройте политику для ботов по задачам, а не одним рубильником. Если у вас API или MCP-инструменты, продумайте оплату за вызов и ответ 402. Если вы строите агентов, учитывайте, что бесплатный доступ к сайтам может стать платным.
- 21 нояб. 2026 г.OpenAI GPT-6 Cyber нашла около 35 дыр в iPhone, Mac и другой технике Apple
- 21 нояб. 2026 г.22 агента Claude шесть недель искали ответы по чёрным дырам — и решили две задачи
- 21 нояб. 2026 г.Google разделит хранение чатов и обучение Gemini: отказ без потери истории
- 21 нояб. 2026 г.Apple в macOS 27.3 beta 2 даст ограничивать доступ ИИ-агентов к файлам Mac
Вопросы и ответы по материалу
Что известно по теме: что происходит с трафиком?
В конце 2024 года сеть Cloudflare обрабатывала в среднем 63 миллиона HTTP-запросов в секунду, сейчас около 115 миллионов, с пиками выше 150 миллионов. Люди при этом никуда не делись, но в самых активно обходимых категориях (ритейл, софт, IT-услуги, финансы) человеческий трафик меньше чем за год упал на величину до 40%. Растёт и доля краулеров, которые собирают тексты для обучения моделей: весной 2025 года на них приходилось 22% запросов краулеров, к июню 2026-го уже 52% (по заявленной цели самих ботов).
Что известно по теме: как предлагают зарабатывать?
Первый шаг — видеть, кто приходит. С июля общий переключатель «блокировать ИИ-ботов» заменили тремя отдельными: для поиска, для агентов и для обучения. Они доступны на всех тарифах, включая бесплатный. Статистика объясняет, зачем это нужно: поисковых краулеров блокирует меньше 1% сайтов, а обучающих — 17%. С 15 сентября есть опция Disallow AI Training: сайт остаётся в выдаче, но оператору бота сообщают, что данные нельзя брать для обучения. Apple, Google и Microsoft обещали это учитывать.
Что известно по теме: расходы и оговорки?
Есть и вторая сторона: многие краулеры снова и снова скачивают страницы, сделанные для людей, ради пары абзацев текста, и заходят на сайты, которые не менялись. Для этого Cloudflare предлагает Markdown for Agents, чтобы агент читал страницу без вёрстки, и WebMCP, чтобы сайт сам показывал доступные действия, а не заставлял агента угадывать, какую кнопку нажать. В дашборде уже видно, сколько трафика потребляет каждый оператор.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.