Три бота Anthropic повышают шанс сайта попасть в источники Claude до 92%

Сайт может быть полезным, хорошо написанным и открытым для Google — но Claude всё равно не увидит его при поиске. Частая причина прозаична: владелец хотел запретить использование текстов для обучения моделей и одним правилом заблокировал всех ботов Anthropic. В результате вместе с обучающим сборщиком отрезал поисковую индексацию и чтение страниц по прямой ссылке.

У Anthropic для этих задач предусмотрены разные боты. ClaudeBot собирает материалы для обучения моделей. Claude-SearchBot индексирует страницы, которые могут появиться в результатах веб-поиска Claude. Claude-User приходит за конкретной страницей, когда пользователь передал ссылку или запросил её содержимое. Поэтому запрет ClaudeBot сам по себе не должен лишать сайт видимости — если два остальных бота действительно допущены.

Один запрет решает не ту задачу

Представим документацию SaaS-сервиса. Команда не хочет отдавать её в будущие обучающие наборы, но хочет, чтобы Claude ссылался на инструкции при вопросах клиентов. Тогда в robots.txt можно запретить доступ ClaudeBot и отдельно разрешить Claude-SearchBot и Claude-User. В упрощённом виде логика выглядит так: первому — Disallow: /, двум другим — Allow: /.

Но одного robots.txt недостаточно. WAF или CDN может отбрасывать запросы раньше, чем бот прочитает правила. Например, готовое правило блокировки ИИ-краулеров способно объединить несколько user-agent в одну группу. Тогда файл разрешает доступ, а защита сайта возвращает отказ. Проверять нужно всю цепочку: robots.txt каждого поддомена, правила CDN и WAF, затем серверные логи. Имя бота в user-agent стоит сверять с опубликованным Anthropic списком IP, потому что эту строку легко подделать.

Индексация ещё не означает цитирование

После допуска ботов страница должна попасть в поисковый индекс, которым пользуется Claude. Anthropic официально не называет поискового провайдера, однако несколько независимых наблюдений указывают на сильную связь с Brave Search. В одном сравнении 87,8% страниц, найденных Claude, входили в первую десятку Brave; для Google совпадение составило 45,6%. В другом замере сайты на местах 1–3 в Brave цитировались в 92% исследованных ответов, а страницы за пределами топ-20 — в 12%.

Это корреляция, а не доказательство прямой зависимости. Результаты также нельзя автоматически переносить на русскоязычные запросы. Кроме того, Claude обращается к веб-поиску не всегда: в исследовании State of AEO 2026 поиск включался в 36,6% случаев. Если модель отвечает по памяти, свежая страница не сможет стать источником независимо от настроек сайта.

Что проверить на практике

Начните с robots.txt на основном домене и всех поддоменах. Убедитесь, что Claude-SearchBot и Claude-User не попали под общий Disallow: /. Затем проверьте WAF, CDN и логи доступа. После этого найдите страницу в Brave по нескольким запросам, для которых она действительно даёт лучший ответ.

Финальная проверка — дать Claude прямую ссылку и попросить пересказать страницу, а затем задать тематический вопрос с фразой Search the web. Повторите опыт с несколькими формулировками: единичное появление или отсутствие ссылки ничего не доказывает.

Практический вывод простой: отделяйте отказ от обучения от отказа в поисковой видимости. Блокируйте ClaudeBot, если этого требует политика компании, но осознанно оставляйте доступ Claude-SearchBot и Claude-User. Это не гарантирует место в ответе, зато устраняет техническую причину, по которой Claude вообще не мог рассмотреть ваш материал.