Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоAPI / Продукт · В работуHabr AI→ оригинал

Часть ИИ-сервисов ищет через Brave: у сайта Lab Leaders там оказалось лишь 24% страниц

Если ИИ-сервис ищет источники в поисковике Brave, а вашей страницы в его базе нет, она может не попасть в ответ, даже при высоких позициях в Google. Brave сам называет Perplexity среди покупателей доступа к индексу. Проверка занимает минуты: оператор site: в search.brave.com или запрос к API. У сайта Lab Leaders в базе Brave было лишь 24% страниц (35 из 143), хотя карта сайта была, поэтому Brave стоит проверять наравне с Google.

AI-обработка оригинала Habr AI; редакция Hamidun News
Часть ИИ-сервисов ищет через Brave: у сайта Lab Leaders там оказалось лишь 24% страниц
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Кредиты Brave API на $5 в месяц покрывают около 1000 запросов
У робота Brave нет именизакрыто для Googlebot — закрыто и для Brave
Ключевой факт #3После подачи адресов через форму охват вырос с 24% до 99% за 10 недель

Представьте: вы годами растили позиции в Google и Яндексе, а нейросеть, отвечая на вопрос вашего клиента, вашу статью даже не видит. Причина может быть в том, что сервис ищет источники в другом поисковике — Brave Search. Эта база страниц продаётся ИИ-компаниям, и у одного из проверенных сайтов, Lab Leaders, на 31 августа 2026 года в ней было всего 35 страниц из 143, то есть 24%. При этом ссылки на страницы стояли, а карта сайта отдавалась. Хорошая новость: проверить, как у вас, можно за несколько минут.

Зачем ИИ-сервисам индекс Brave

Brave Search держит собственную базу страниц и продаёт доступ к ней через Search API: программа отправляет запрос и получает выдачу в формате JSON. ИИ-сервису это нужно для grounding, то есть опоры ответа на найденные страницы. Сервис ищет документы по вопросу пользователя и строит ответ по ним, добавляя к тому, что модель знает сама. Размер индекса называет сам Brave: в августе 2026 года больше 40 млрд страниц. Независимого подсчёта нет.

Кто именно покупает доступ? На странице About Brave называет Cohere, Mistral, Perplexity и You.com. В иске New York Times против Brave, поданном 2 ноября 2026 года, названы Anthropic, Perplexity, Mistral, xAI и Cohere, но ни одна из них не ответчик. Газета утверждает, что Brave копировал контент издателей и продавал его ИИ-компаниям. Это позиция истца, решения суда нет. Подтверждений от самих Perplexity, Mistral и Cohere в открытых источниках нет, а у сервисов могут быть и другие поставщики поиска. Поэтому формулировка осторожная: страница, которой нет в Brave, может не попасть в ответы этих сервисов.

Как проверить сайт вручную и скриптом

Вручную всё делается в search.brave.com оператором site:. Запрос site:example.com покажет страницы домена из индекса, на это уходит около 30 секунд. Для одной страницы после site: без пробела ставят полный адрес с https, например site:https://example.com/blog/page/. Для отдельного поддомена пишут site:blog.example.com.

Два нюанса. Во-первых, стоит читать описание под ссылкой: Brave может показывать сохранённую копию, и автор разбора в Search Engine Journal нашёл свой сайт со старым описанием главной. Во-вторых, пустая выдача ничего не доказывает: в документации Brave операторы поиска названы экспериментальными. Прежде чем решить, что страницы нет, поищите её обычным запросом по заголовку.

Для списка адресов удобнее Brave Search API. Скрипт на Python делает GET-запрос на api.search.brave.com/res/v1/web/search, кладёт site:адрес в параметр q, передаёт ключ в заголовке X-Subscription-Token и проверяет, вернулся ли нужный URL. Сравнение строгое: отбрасываются только якорь и слэш в конце. Если Brave хранит страницу под другим адресом, она получит статус «нет в выдаче», и такие строки надо открыть руками. Между запросами стоит пауза 1,1 секунды, при ошибках API её лучше увеличить.

Экономика простая. С февраля 2026 года тариф Search стоит $5 за 1000 запросов. Бесплатного тарифа нет, но в каждый план входят кредиты на $5 в месяц, то есть около 1000 запросов, при условии, что вы указываете Brave Search API как источник на своём сайте. Сайт на 300 страниц — это 300 запросов, он укладывается в кредиты с запасом.

Ещё приём: сохраняйте, на какие источники Perplexity ссылается в ответах на вопросы ваших клиентов, и сверяйте их с выдачей Brave. Совпадение ничего не докажет, ту же страницу мог найти другой поисковик. Зато видно, есть ли ваши страницы там же, где уже цитируемые.

Почему страницы нет в индексе и что делать

Сначала проверьте запреты. У робота Brave нет собственного имени в правилах доступа, поэтому отдельное правило для него в robots.txt написать нельзя. Если страница закрыта для Googlebot, Brave её тоже не обходит. Из индекса страницу убирает noindex в коде или в заголовке ответа сервера. Список проверок такой же, как для Google.

Если запретов нет, страницы в индексе всё равно может не оказаться. Краулер Brave частично питается данными пользователей браузера Brave, которые включили Web Discovery Project, а по умолчанию эта опция выключена. Ссылки и карта сайта попадания не гарантируют, как показали те же 24% у Lab Leaders.

После снятия запретов адреса подают через форму search.brave.com/submit-url. В справке Brave она упомянута для повторного обхода и удаления страниц. По практике Lab Leaders, форма бесплатная, работает без регистрации и ставит адреса в очередь, подавать лучше по одному. В документации Brave про приём новых адресов этого нет. В кейсе Lab Leaders индексация за десять недель выросла с 24% до 99%: на 9 ноября это 295 из 299 страниц. Адреса подавали через форму и каждую неделю сверяли индекс.

Ограничения

Контрольной группы не было, поэтому неизвестно, сколько дала подача адресов, а сколько пришло бы само. Это один сайт. Открытых замеров того, насколько полно Brave покрывает русскоязычные сайты, нет. Связь ИИ-сервисов с Brave держится на словах самого Brave и на иске истца.

Практический вывод: добавьте Brave в регулярную проверку видимости рядом с Google и Яндексом. Это стоит минут и нескольких долларов. Если сайта в индексе нет, никакая работа над текстами не поможет попасть в ответы, которые строятся на этом индексе.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: зачем ИИ-сервисам индекс Brave?

Brave Search держит собственную базу страниц и продаёт доступ к ней через Search API: программа отправляет запрос и получает выдачу в формате JSON. ИИ-сервису это нужно для grounding, то есть опоры ответа на найденные страницы. Сервис ищет документы по вопросу пользователя и строит ответ по ним, добавляя к тому, что модель знает сама. Размер индекса называет сам Brave: в августе 2026 года больше 40 млрд страниц. Независимого подсчёта нет. Кто именно покупает доступ?

Что известно по теме: как проверить сайт вручную и скриптом?

Вручную всё делается в search.brave.com оператором site:. Запрос site:example.com покажет страницы домена из индекса, на это уходит около 30 секунд. Для одной страницы после site: без пробела ставят полный адрес с https, например site:https://example.com/blog/page/. Для отдельного поддомена пишут site:blog.example.com. Два нюанса. Во-первых, стоит читать описание под ссылкой: Brave может показывать сохранённую копию, и автор разбора в Search Engine Journal нашёл свой сайт со старым описанием главной.

Что известно по теме: почему страницы нет в индексе и что делать?

Сначала проверьте запреты. У робота Brave нет собственного имени в правилах доступа, поэтому отдельное правило для него в robots.txt написать нельзя. Если страница закрыта для Googlebot, Brave её тоже не обходит. Из индекса страницу убирает noindex в коде или в заголовке ответа сервера. Список проверок такой же, как для Google. Если запретов нет, страницы в индексе всё равно может не оказаться.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…