Cloudflare поставила AI-краулерам дедлайн: с сентября 2026 года — плати издателям или блокировка

Cloudflare с сентября 2026 года начнёт по умолчанию блокировать AI-краулеры на всех страницах с рекламой: если владелец сайта явно не откроет доступ, сборщики обучающих данных туда не попадут. Компания занимает позицию перед значительной долей мирового веб-трафика и намерена использовать этот рычаг, чтобы остановить бесплатную раздачу контента AI-компаниям.

Как работает механизм opt-in

Новое правило переворачивает привычную схему. До сих пор страницы были открыты для всех, а издателю нужно было самостоятельно закрывать доступ через robots.txt или настройки фаерволла — для каждого краулера отдельно. Теперь логика обратная: страница с рекламой закрыта для AI по умолчанию, и именно компания, которая хочет данные, должна сначала получить явное разрешение у владельца сайта.

Cloudflare стоит между браузерами пользователей и серверами огромного числа сайтов по всему миру. Именно это делает изменение масштабным: одно правило на уровне сетевой инфраструктуры закрывает сразу всех клиентов компании — от независимого блога до крупного медиапортала — без дополнительных усилий с их стороны.

• Срок вступления в силу — сентябрь 2026 года
• Под блокировку попадают все страницы с рекламным инвентарём (если нет явного opt-in)
• Владелец сайта может открыть доступ вручную — для конкретного краулера или для всех
• Cloudflare контролирует значительную долю глобального веб-трафика

Почему издатели не справлялись в одиночку

Годами AI-компании собирали контент для обучения моделей, игнорируя или технически обходя ограничения. Robots.txt де-юре не обязателен к исполнению: OpenAI, Perplexity и другие компании неоднократно попадались на нарушении директив. Судебные иски — дороги и тянутся годами: NYT против OpenAI и Getty Images против Stability AI всё ещё не завершены, а небольшим издателям судиться и вовсе не по карману. Прямые лицензионные соглашения достались только крупнейшим медиагруппам, у которых была переговорная сила.

Небольшие и средние ресурсы — тематические порталы, новостные блоги, нишевые медиа — оставались фактически беззащитны. Контент уходил в обучающие датасеты, рекламные доходы падали по мере вытеснения поискового трафика AI-ответами, а компенсации не было никакой. Cloudflare предлагает системный ответ: закрыть доступ на уровне инфраструктуры — централизованно и сразу для всех своих клиентов.

Что это означает для AI-компаний

Если лаборатории не договорятся с достаточным числом издателей до сентября 2026 года, их краулеры лишатся доступа к значительному пласту актуального веб-контента. Обучение на свежих данных подорожает, а поиск альтернативных источников — синтетических данных, архивов, лицензионных партнёрств — потребует времени и ресурсов.

Стратегически прецедент важен: если модель «CDN как посредник между AI и контентом» закрепится у Cloudflare, к ней могут присоединиться другие провайдеры инфраструктуры. Для AI-отрасли это означает постепенный переход от фактически бесплатного доступа к данным к системе лицензирования — той, которую издательский рынок требовал с самого начала гонки за обучающими корпусами.

«Перестаньте отдавать веб бесплатно», — так TNW формулирует позицию

Cloudflare.

Что это значит

Cloudflare переводит спор AI-индустрии с издателями с правового поля на уровень сетевой инфраструктуры. С сентября 2026 года краулеры рискуют лишиться значительного пласта обучающих данных, если не договорятся и не заплатят. Для рынка AI это не разовый иск, а системный механизм, который может стать новым стандартом для всей CDN-отрасли.