Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураКод / SDK · В работуHabr AI→ оригинал

Роботы ChatGPT и Claude не видят 40% текста на каждой восьмой странице с ценами

Сайт подробно описывает продукт, а ChatGPT всё равно отвечает общими словами: роботы ChatGPT и Claude скачивают JavaScript, но не запускают, поэтому текст, который страница дорисовывает в браузере, до них не доходит. Компания Profound проверила 77 страниц с ценами: у 10 из них, то есть у каждой восьмой, роботы не видели минимум 40% основного текста. Поэтому название, цену и аудиторию держите в исходном HTML, а не в скриптах.

AI-обработка оригинала Habr AI; редакция Hamidun News
Роботы ChatGPT и Claude не видят 40% текста на каждой восьмой странице с ценами
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Anthropicпояснение к фрагменту снизило неудачные поиски с 5,7% до 2,9%
Ahrefsпять ИИ-систем игнорируют JSON-LD, Microdata и RDFa
Ключевой факт #3Без страницы с ценами ИИ называл от $100 до $2 400 за пользователя

Описание продукта на сайте занимает три экрана, всё разжёвано, а ChatGPT, GigaChat или Алиса AI отвечают о нём общими словами или путают его с конкурентом. Одна из причин техническая: роботы ChatGPT и Claude скачивают файлы JavaScript (код, который достраивает страницу в браузере посетителя), но не запускают их. Если цены или описание рисует скрипт, робот видит пустое место.

Компания Profound проверила 77 публичных страниц с ценами: у 10 из них, то есть примерно у каждой восьмой, роботам не был виден минимум 40% основного текста. Подробно страница могла быть написана как угодно, для ИИ этой части там нет. Вторая причина в том, что нейросеть читает не весь сайт, а несколько найденных фрагментов.

Практический вывод: ключевые факты о продукте должны лежать в исходном HTML и повторяться в каждом смысловом абзаце.

Что на самом деле читает нейросеть

Нейросеть не загружает сайт целиком. Она получает несколько найденных фрагментов, и если в них нет прямого текста о том, что это за продукт и для кого он, подробности с остальных страниц ей не помогут.

Источники у сервисов разные. У ChatGPT свои роботы. По справке OpenAI, за поиск отвечает OAI-SearchBot: через него сайты попадают в результаты. GPTBot собирает данные для обучения и с поиском не связан, а ChatGPT-User открывает страницу, когда пользователь задал вопрос. Настройки в robots.txt у них независимы. Алиса AI сайты сама не обходит: она разбивает вопрос на подвопросы, отправляет их в Поиск Яндекса и опирается на высоко ранжируемые страницы. Для неё слабо ранжируемая страница почти не имеет шансов стать источником.

Текст из скриптов роботы не видят

Исследование Vercel и MERJ, вышедшее в декабре 2024 года, показало: роботы ChatGPT и Claude получают HTML (исходный код страницы до выполнения скриптов) и файлы JavaScript, но сами скрипты не выполняют. Файлы JavaScript составляли 11,50% запросов краулера ChatGPT и 23,84% запросов Claude. Робот их скачивает, но для него это просто текст программы. Если описание продукта подгружается скриптом, в исходном HTML его нет, а значит, нет и для робота.

Масштаб проблемы измерила Profound: у 10 из 77 страниц с ценами робот не видел минимум 40% текста. На собственном сайте Profound цены тоже рисовал скрипт, и ИИ-краулеры их не замечали. Помог перенос на серверный рендеринг (SSR): страницу собирает сервер, и робот сразу получает готовый текст.

Если страницы с ценами нет совсем, нейросеть берёт цифры у третьих лиц. У одного продукта из исследования ответы ИИ называли цены от примерно $100 до $2 400 за пользователя в месяц, часто по обсуждениям на Reddit. Разница в 24 раза для одного и того же продукта: на такой ответ покупатель опереться не может.

Разметка Schema.org тоже не спасает. Ahrefs проверил ChatGPT, Claude, Perplexity, Gemini и Google AI Mode: все пять при чтении в реальном времени брали только видимый HTML и игнорировали JSON-LD, Microdata и RDFa. На 1 885 страницах, добавивших JSON-LD с августа 2025 по март 2026, цитирований в AI Mode и ChatGPT не прибавилось, а в AI Overviews их стало на 4,6% меньше, хотя уверенно связать это с разметкой авторы не могут. Разметку можно оставить, но единственной копией факта она быть не должна.

Каждый абзац должен называть продукт

Даже видимый текст нейросеть берёт кусками. Anthropic показывает это на примере: фрагмент «выручка выросла на 3% за квартал» не называет ни компанию, ни период. Если перед индексацией дописывать к каждому фрагменту пояснение в 50–100 токенов, поиск ошибается почти вдвое реже: 2,9% неудачных поисков вместо 5,7%. Сайт не может дописать пояснение к абзацу, который вырезала чужая система, но может сам вписать название продукта в каждый смысловой абзац.

Сравните: «Решение, которое помогает расти и экономить время» подходит к тысяче продуктов. «Кассир — облачная касса для небольших интернет-магазинов: принимает платёж, пробивает чек и отправляет его покупателю» называет продукт, аудиторию и задачу даже в вырванном виде.

Шесть проверок

  1. Откройте robots.txt и найдите блок OAI-SearchBot. Строка Disallow: / закрывает сайт от поиска ChatGPT. Если отдельного блока нет, действуют правила для User-agent: *.
  2. Получите страницу без JavaScript (исходный код или curl с grep) и найдите название, цену и аудиторию. Ноль совпадений значит, что текст рисует скрипт. То же проверьте для вкладок и слайдеров, а факты из PDF и картинок продублируйте текстом.
  3. Если текста в HTML нет, переходите на серверный рендеринг или пререндеринг.
  4. Сверьте JSON-LD с видимым текстом: каждое значение должно стоять и на странице.
  5. Прочитайте каждый абзац о продукте отдельно, без заголовка. Если не понятно, что за продукт и для кого он, допишите.
  6. Спросите ChatGPT, GigaChat, Алису AI и Perplexity о продукте и сравните ответы с сайтом. При неверном ответе откройте источники и найдите чужую страницу с ошибкой.

Начинать стоит с пункта 2: пока текста нет в исходном HTML, переписывать абзацы рано. Затем идёт пункт 5.

Ограничения

Данные неполные. Исследование Vercel и MERJ вышло в 2024 году, роботы могли измениться, а выполняют ли скрипты GigaChat и Perplexity, неизвестно. Profound собирала ответы с 29 июля по 10 августа 2026 года и только про цены, а Ahrefs считал частоту цитирования, но не точность пересказа. Текст в HTML и названия продукта в абзацах не гарантируют верный ответ нейросети, но без них ей остаётся собирать продукт из общих слов и чужих страниц.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что на самом деле читает нейросеть?

Нейросеть не загружает сайт целиком. Она получает несколько найденных фрагментов, и если в них нет прямого текста о том, что это за продукт и для кого он, подробности с остальных страниц ей не помогут. Источники у сервисов разные. У ChatGPT свои роботы. По справке OpenAI, за поиск отвечает OAI-SearchBot: через него сайты попадают в результаты. GPTBot собирает данные для обучения и с поиском не связан, а ChatGPT-User открывает страницу, когда пользователь задал вопрос. Настройки в robots.txt у них независимы.

Что известно по теме: текст из скриптов роботы не видят?

Исследование Vercel и MERJ, вышедшее в декабре 2024 года, показало: роботы ChatGPT и Claude получают HTML (исходный код страницы до выполнения скриптов) и файлы JavaScript, но сами скрипты не выполняют. Файлы JavaScript составляли 11,50% запросов краулера ChatGPT и 23,84% запросов Claude. Робот их скачивает, но для него это просто текст программы. Если описание продукта подгружается скриптом, в исходном HTML его нет, а значит, нет и для робота.

Что известно по теме: каждый абзац должен называть продукт?

Даже видимый текст нейросеть берёт кусками. Anthropic показывает это на примере: фрагмент «выручка выросла на 3% за квартал» не называет ни компанию, ни период. Если перед индексацией дописывать к каждому фрагменту пояснение в 50–100 токенов, поиск ошибается почти вдвое реже: 2,9% неудачных поисков вместо 5,7%. Сайт не может дописать пояснение к абзацу, который вырезала чужая система, но может сам вписать название продукта в каждый смысловой абзац.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…