robots.txt не запрещает обучение ИИ: каких ботов закрыть, чтобы остаться в ответах

Многие владельцы сайтов добавляют в robots.txt строку Disallow для GPTBot и уверены, что закрыли тексты от ChatGPT. Гари Ильес из Google напомнил: это не так. Файл решает один вопрос: может ли робот скачать страницу. Что система делает с контентом дальше, он не определяет.

Что на самом деле делает Disallow

Стандарт RFC 9309 описывает robots.txt как набор предпочтений по доступу. Это табличка «просьба не входить»: воспитанный робот за дверь не зайдёт, но про уже увиденное табличка молчит. Поэтому новая строка касается только будущих обходов. Страницы, скачанные раньше, остаются в обучающих данных.

Общей директивы «запретить весь ИИ» в стандарте нет. Google понимает только User-Agent, Allow, Disallow и Sitemap, а выдуманные строки игнорирует. Закрыть конкретного краулера можно, только назвав его токен.

Три робота вместо одного

У OpenAI и Anthropic боты разделены по задачам:

• обучение: GPTBot и ClaudeBot;
• поиск сервиса: OAI-SearchBot и Claude-SearchBot;
• запрос пользователя: ChatGPT-User и Claude-User.

Настройки независимы. Можно запретить GPTBot и при этом остаться в поиске ChatGPT через OAI-SearchBot. Но OpenAI оговаривает, что к ChatGPT-User правила robots.txt могут не применяться, а Anthropic предупреждает: отключите Claude-User, и Claude не сможет открыть вашу страницу по запросу пользователя, видимость упадёт.

У Google обучение отделяет токен Google-Extended. Он влияет на обучение Gemini и grounding (подачу страницы модели во время ответа), но не на обычный Поиск. Поэтому его запрет может стоить места в ответах Gemini. Applebot-Extended и CCBot работают похоже: первый решает, можно ли учить модели Apple на данных Applebot, второй закрывает доступ Common Crawl.

В России выбор беднее. Чтобы не попадать в быстрые ответы Алисы AI, Яндекс советует закрыть YandexAdditional и YandexAdditionalBot, изменения учитываются за 2–14 дней. Отдельного токена только для обучения нет, а закрытый YandexBot убирает сайт и из поиска. Имени робота GigaChat Сбер не публикует, так что назвать его в файле нельзя.

Типовой файл «не обучать, но показывать» выглядит так: в первой группе User-agent для GPTBot, ClaudeBot, CCBot и Applebot-Extended с Disallow: /. Поисковые и пользовательские токены отдельно разрешены через Allow: /.

Кто игнорирует правила и что делать

Слушаются не все. В августе 2025 года Cloudflare показал, что Perplexity при блокировке меняет user agent и ASN (номер сети), а порой даже не запрашивает robots.txt. Робот представлялся Chrome на macOS, и так шло на десятках тысяч доменов. Самым послушным в том же тесте оказался ChatGPT-User.

Проверить своих ботов можно по логу: grep -E «GPTBot|ClaudeBot|CCBot|OAI-SearchBot|ChatGPT-User» access.log. Смотрите, запрашивал ли робот /robots.txt и ходил ли в закрытые разделы после появления Disallow. Подмену токена так не найти, поэтому ищите запросы с браузерным user-agent, которые в одном ритме идут на одни и те же страницы. Против таких ботов нужна защита от автоматических запросов на сервере или в CDN, например в Cloudflare. А вот блокировка по IP у Anthropic может подвести: робот не прочитает robots.txt, и отказ не сработает.

Есть и другие рычаги: метатег nosnippet у Apple, протокол TDMRep с параметром tdm-reservation=1, который имеет юридический вес в ЕС, и Pay Per Crawl от Cloudflare в закрытой бете.

Что дальше

С 30 октября 2026 года Anthropic распознаёт общий сигнал: User-agent __usage_ai-training с Disallow: /. Google планирует поддержать тот же AIPREF в начале 2027 года и, по прочтению Lab Leaders, может приравнять его к Google-Extended, а это снова риск для ответов Gemini. Стандарт IETF с правилом Content-Usage пока остаётся черновиком.

Практический вывод простой. Сначала решите, от чего вы закрываетесь: от обучения или от показа в ответах. Обучающих ботов закрывайте по именам, поисковых и пользовательских оставляйте открытыми, а результат проверяйте по логам сервера.