ChatGPT и DeepSeek: что меняет блокировка Cloudflare в сентябре

Cloudflare планирует блокировать AI-краулеры для ChatGPT, DeepSeek и других нейросетей: с сентября 2026 года компания начнёт по умолчанию блокировать доступ на всех страницах с рекламой, если владелец сайта явно не откроет его.

Как работает механизм opt-in

Новое правило переворачивает привычную схему. До сих пор страницы были открыты для всех, а издателю нужно было самостоятельно закрывать доступ через robots.txt или настройки фаерволла — для каждого краулера отдельно. Теперь логика обратная: страница с рекламой закрыта для AI по умолчанию, и именно компания, которая хочет данные, должна сначала получить явное разрешение у владельца сайта.

Cloudflare стоит между браузерами пользователей и серверами огромного числа сайтов по всему миру. Именно это делает изменение масштабным: одно правило на уровне сетевой инфраструктуры закрывает сразу всех клиентов компании — от независимого блога до крупного медиапортала — без дополнительных усилий с их стороны.

• Срок вступления в силу — сентябрь 2026 года
• Под блокировку попадают все страницы с рекламным инвентарём (если нет явного opt-in)
• Владелец сайта может открыть доступ вручную — для конкретного краулера или для всех
• Cloudflare контролирует значительную долю глобального веб-трафика

Почему издатели не справлялись в одиночку

Годами AI-компании собирали контент для обучения моделей, игнорируя или технически обходя ограничения. Robots.txt де-юре не обязателен к исполнению: OpenAI, Perplexity и другие компании неоднократно попадались на нарушении директив. Судебные иски — дороги и тянутся годами: NYT против OpenAI и Getty Images против Stability AI всё ещё не завершены, а небольшим издателям судиться и вовсе не по карману. Прямые лицензионные соглашения достались только крупнейшим медиагруппам, у которых была переговорная сила.

Небольшие и средние ресурсы — тематические порталы, новостные блоги, нишевые медиа — оставались фактически беззащитны. Контент уходил в обучающие датасеты, рекламные доходы падали по мере вытеснения поискового трафика AI-ответами, а компенсации не было никакой. Cloudflare предлагает системный ответ: закрыть доступ на уровне инфраструктуры — централизованно и сразу для всех своих клиентов.

Что это означает для AI-компаний

Если лаборатории не договорятся с достаточным числом издателей до сентября 2026 года, их краулеры лишатся доступа к значительному пласту актуального веб-контента. Обучение на свежих данных подорожает, а поиск альтернативных источников — синтетических данных, архивов, лицензионных партнёрств — потребует времени и ресурсов.

Стратегически прецедент важен: если модель «CDN как посредник между AI и контентом» закрепится у Cloudflare, к ней могут присоединиться другие провайдеры инфраструктуры. Для AI-отрасли это означает постепенный переход от фактически бесплатного доступа к данным к системе лицензирования — той, которую издательский рынок требовал с самого начала гонки за обучающими корпусами.

«Перестаньте отдавать веб бесплатно», — так TNW формулирует позицию

Cloudflare.

Что это значит

Cloudflare переводит спор AI-индустрии с издателями с правового поля на уровень сетевой инфраструктуры. С сентября 2026 года краулеры рискуют лишиться значительного пласта обучающих данных, если не договорятся и не заплатят. Для рынка AI это не разовый иск, а системный механизм, который может стать новым стандартом для всей CDN-отрасли.

Как Cloudflare блокирует краулеры ChatGPT и Deepseek?

С сентября 2026 года Cloudflare блокирует AI-краулеры на всех сайтах с рекламой по умолчанию, если владелец сайта не откроет доступ через новую opt-in систему вместо старой opt-out схемы через robots.txt.

Как работает защита от ИИ-краулеров в Cloudflare?

Cloudflare переворачивает привычную схему: вместо того чтобы издателю самостоятельно закрывать доступ для каждого краулера, теперь ИИ-сборщики будут заблокированы по умолчанию. Издателю нужно явно разрешить доступ, если он согласен делиться контентом с компаниями, обучающими нейросети.

Как блокировка

Cloudflare повлияет на обучение ChatGPT и DeepSeek? Cloudflare с сентября 2026 года начнёт по умолчанию блокировать AI-краулеры, используемые этими сервисами для сбора обучающих данных, на всех страницах с рекламой.

Может ли издатель открыть доступ для AI-компаний?

Да, новое правило переворачивает схему на opt-in: если владелец сайта явно откроет доступ, краулеры смогут собирать данные для обучения нейросетей.