Роботы ChatGPT и Claude не видят 40% текста на каждой восьмой странице с ценами
Сайт подробно описывает продукт, а ChatGPT всё равно отвечает общими словами: роботы ChatGPT и Claude скачивают JavaScript, но не запускают, поэтому текст, который страница дорисовывает в браузере, до них не доходит. Компания Profound проверила 77 страниц с ценами: у 10 из них, то есть у каждой восьмой, роботы не видели минимум 40% основного текста. Поэтому название, цену и аудиторию держите в исходном HTML, а не в скриптах.
AI-обработка оригинала Habr AI; редакция Hamidun News
Описание продукта на сайте занимает три экрана, всё разжёвано, а ChatGPT, GigaChat или Алиса AI отвечают о нём общими словами или путают его с конкурентом. Одна из причин техническая: роботы ChatGPT и Claude скачивают файлы JavaScript (код, который достраивает страницу в браузере посетителя), но не запускают их. Если цены или описание рисует скрипт, робот видит пустое место.
Компания Profound проверила 77 публичных страниц с ценами: у 10 из них, то есть примерно у каждой восьмой, роботам не был виден минимум 40% основного текста. Подробно страница могла быть написана как угодно, для ИИ этой части там нет. Вторая причина в том, что нейросеть читает не весь сайт, а несколько найденных фрагментов.
Практический вывод: ключевые факты о продукте должны лежать в исходном HTML и повторяться в каждом смысловом абзаце.
Что на самом деле читает нейросеть
Нейросеть не загружает сайт целиком. Она получает несколько найденных фрагментов, и если в них нет прямого текста о том, что это за продукт и для кого он, подробности с остальных страниц ей не помогут.
Источники у сервисов разные. У ChatGPT свои роботы. По справке OpenAI, за поиск отвечает OAI-SearchBot: через него сайты попадают в результаты. GPTBot собирает данные для обучения и с поиском не связан, а ChatGPT-User открывает страницу, когда пользователь задал вопрос. Настройки в robots.txt у них независимы. Алиса AI сайты сама не обходит: она разбивает вопрос на подвопросы, отправляет их в Поиск Яндекса и опирается на высоко ранжируемые страницы. Для неё слабо ранжируемая страница почти не имеет шансов стать источником.
Текст из скриптов роботы не видят
Исследование Vercel и MERJ, вышедшее в декабре 2024 года, показало: роботы ChatGPT и Claude получают HTML (исходный код страницы до выполнения скриптов) и файлы JavaScript, но сами скрипты не выполняют. Файлы JavaScript составляли 11,50% запросов краулера ChatGPT и 23,84% запросов Claude. Робот их скачивает, но для него это просто текст программы. Если описание продукта подгружается скриптом, в исходном HTML его нет, а значит, нет и для робота.
Масштаб проблемы измерила Profound: у 10 из 77 страниц с ценами робот не видел минимум 40% текста. На собственном сайте Profound цены тоже рисовал скрипт, и ИИ-краулеры их не замечали. Помог перенос на серверный рендеринг (SSR): страницу собирает сервер, и робот сразу получает готовый текст.
Если страницы с ценами нет совсем, нейросеть берёт цифры у третьих лиц. У одного продукта из исследования ответы ИИ называли цены от примерно $100 до $2 400 за пользователя в месяц, часто по обсуждениям на Reddit. Разница в 24 раза для одного и того же продукта: на такой ответ покупатель опереться не может.
Разметка Schema.org тоже не спасает. Ahrefs проверил ChatGPT, Claude, Perplexity, Gemini и Google AI Mode: все пять при чтении в реальном времени брали только видимый HTML и игнорировали JSON-LD, Microdata и RDFa. На 1 885 страницах, добавивших JSON-LD с августа 2025 по март 2026, цитирований в AI Mode и ChatGPT не прибавилось, а в AI Overviews их стало на 4,6% меньше, хотя уверенно связать это с разметкой авторы не могут. Разметку можно оставить, но единственной копией факта она быть не должна.
Каждый абзац должен называть продукт
Даже видимый текст нейросеть берёт кусками. Anthropic показывает это на примере: фрагмент «выручка выросла на 3% за квартал» не называет ни компанию, ни период. Если перед индексацией дописывать к каждому фрагменту пояснение в 50–100 токенов, поиск ошибается почти вдвое реже: 2,9% неудачных поисков вместо 5,7%. Сайт не может дописать пояснение к абзацу, который вырезала чужая система, но может сам вписать название продукта в каждый смысловой абзац.
Сравните: «Решение, которое помогает расти и экономить время» подходит к тысяче продуктов. «Кассир — облачная касса для небольших интернет-магазинов: принимает платёж, пробивает чек и отправляет его покупателю» называет продукт, аудиторию и задачу даже в вырванном виде.
Шесть проверок
- Откройте robots.txt и найдите блок OAI-SearchBot. Строка Disallow: / закрывает сайт от поиска ChatGPT. Если отдельного блока нет, действуют правила для User-agent: *.
- Получите страницу без JavaScript (исходный код или curl с grep) и найдите название, цену и аудиторию. Ноль совпадений значит, что текст рисует скрипт. То же проверьте для вкладок и слайдеров, а факты из PDF и картинок продублируйте текстом.
- Если текста в HTML нет, переходите на серверный рендеринг или пререндеринг.
- Сверьте JSON-LD с видимым текстом: каждое значение должно стоять и на странице.
- Прочитайте каждый абзац о продукте отдельно, без заголовка. Если не понятно, что за продукт и для кого он, допишите.
- Спросите ChatGPT, GigaChat, Алису AI и Perplexity о продукте и сравните ответы с сайтом. При неверном ответе откройте источники и найдите чужую страницу с ошибкой.
Начинать стоит с пункта 2: пока текста нет в исходном HTML, переписывать абзацы рано. Затем идёт пункт 5.
Ограничения
Данные неполные. Исследование Vercel и MERJ вышло в 2024 году, роботы могли измениться, а выполняют ли скрипты GigaChat и Perplexity, неизвестно. Profound собирала ответы с 29 июля по 10 августа 2026 года и только про цены, а Ahrefs считал частоту цитирования, но не точность пересказа. Текст в HTML и названия продукта в абзацах не гарантируют верный ответ нейросети, но без них ей остаётся собирать продукт из общих слов и чужих страниц.
- 21 нояб. 2026 г.Математик Anthropic заявил: Claude помог за 6 недель доказать гипотезу Римана
- 21 нояб. 2026 г.Стартап Osmo обучил ИИ запахам на 10 млн оценок людей и генерирует ароматы по тексту
- 21 нояб. 2026 г.КНДР показала первый чатбот «Источник мудрости»: только наука, без политики
- 21 нояб. 2026 г.OpenAI открыла ChatGPT Spaces подписчикам Plus: совместные документы с ИИ
Вопросы и ответы по материалу
Что известно по теме: что на самом деле читает нейросеть?
Нейросеть не загружает сайт целиком. Она получает несколько найденных фрагментов, и если в них нет прямого текста о том, что это за продукт и для кого он, подробности с остальных страниц ей не помогут. Источники у сервисов разные. У ChatGPT свои роботы. По справке OpenAI, за поиск отвечает OAI-SearchBot: через него сайты попадают в результаты. GPTBot собирает данные для обучения и с поиском не связан, а ChatGPT-User открывает страницу, когда пользователь задал вопрос. Настройки в robots.txt у них независимы.
Что известно по теме: текст из скриптов роботы не видят?
Исследование Vercel и MERJ, вышедшее в декабре 2024 года, показало: роботы ChatGPT и Claude получают HTML (исходный код страницы до выполнения скриптов) и файлы JavaScript, но сами скрипты не выполняют. Файлы JavaScript составляли 11,50% запросов краулера ChatGPT и 23,84% запросов Claude. Робот их скачивает, но для него это просто текст программы. Если описание продукта подгружается скриптом, в исходном HTML его нет, а значит, нет и для робота.
Что известно по теме: каждый абзац должен называть продукт?
Даже видимый текст нейросеть берёт кусками. Anthropic показывает это на примере: фрагмент «выручка выросла на 3% за квартал» не называет ни компанию, ни период. Если перед индексацией дописывать к каждому фрагменту пояснение в 50–100 токенов, поиск ошибается почти вдвое реже: 2,9% неудачных поисков вместо 5,7%. Сайт не может дописать пояснение к абзацу, который вырезала чужая система, но может сам вписать название продукта в каждый смысловой абзац.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.