Cloudflare начнёт блокировать ИИ-ботов по умолчанию — без согласия владельцев сайтов

Cloudflare в июле 2026 года объявила об изменении политики по умолчанию: боты смешанного назначения — те, что одновременно индексируют сайты для поисковых систем, выступают как ИИ-агенты и используются для обучения языковых моделей — теперь блокируются автоматически на всех ресурсах под защитой компании без дополнительных действий со стороны владельца сайта.

Что изменилось в политике Cloudflare

До этого момента клиенты Cloudflare могли самостоятельно настраивать политику в отношении ботов смешанного назначения. Соответствующий переключатель был доступен в личном кабинете, однако большинство владельцев небольших сайтов либо не знали о нём, либо не успевали следить за постоянно растущим списком таких ботов.

Теперь позиция по умолчанию кардинально меняется:

• Блокировка ботов смешанного назначения включена автоматически для всех клиентов Cloudflare
• Под ограничение попадают краулеры, совмещающие индексацию для поисковиков с функциями ИИ-агента или сбором обучающих данных
• Разблокировка конкретного бота по-прежнему доступна — но только как осознанный активный шаг владельца сайта
• Компания планирует регулярно обновлять список распознаваемых ботов смешанного назначения

Речь идёт о так называемых «двойного назначения» краулерах: официально они заявляют себя как поисковые агенты, однако параллельно их трафик уходит в обучающие датасеты языковых моделей или используется ИИ-агентами, работающими в реальном времени.

Почему Cloudflare меняет курс именно сейчас

Бум генеративного ИИ резко увеличил нагрузку на серверы: количество запросов от ботов за последние два года выросло кратно. Многие сайты фиксируют, что значительная часть их трафика — не реальные пользователи, а краулеры, которые нередко никак не идентифицируют себя как ИИ-инструменты.

Параллельно нарастает волна судебных исков: издатели, фотографы и разработчики подают в суд на AI-компании, использующие их контент без разрешения для обучения моделей. Подобные дела уже рассматриваются в судах США и ЕС.

«Позиция по умолчанию будет иметь оборонительный характер», — говорится в официальном заявлении

Cloudflare.

Cloudflare обслуживает миллионы сайтов по всему миру и обрабатывает значительную долю мирового веб-трафика. Такое решение меняет дефолтный баланс сил между создателями контента и теми, кто использует его для обучения ИИ.

Что это значит

Для владельцев ресурсов и небольших изданий изменение означает автоматическую защиту без дополнительных настроек — именно они чаще всего не успевали реагировать на появление новых ботов. Для разработчиков ИИ-продуктов, использующих краулеры для сбора данных или создания агентов с доступом к актуальному веб-контенту, ситуация усложняется: придётся договариваться с каждым ресурсом явно или переходить на лицензионные датасеты. Крупные игроки — OpenAI, Google, Perplexity — уже заключают такие соглашения с издателями, и этот тренд будет нарастать по мере ужесточения платформенной политики.

Частые вопросы

Как разрешить конкретному боту доступ к моему сайту?

В панели управления Cloudflare можно добавить явное исключение для нужного краулера. Блокировка по умолчанию не является принудительной и снимается через личный кабинет в несколько кликов.

Попадут ли под блокировку обычные поисковые боты?

По заявлению компании, ограничение направлено именно на ботов смешанного назначения — тех, кто одновременно индексирует контент и использует его для ИИ-задач. Стандартные поисковые краулеры под новую политику не подпадают.