Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Les robots de ChatGPT et Claude ne voient pas 40 % du texte sur une page tarifaire sur huit

Le site décrit son produit en détail, pourtant ChatGPT répond par des généralités : les robots de ChatGPT et de Claude téléchargent le JavaScript sans l'exécuter, si bien que le texte que la page affiche dans le navigateur ne leur parvient jamais. L'entreprise Profound a vérifié 77 pages tarifaires : sur 10 d'entre elles, soit une sur huit, les robots ne voyaient pas au moins 40 % du texte principal. Il faut donc placer le nom, le prix et l'audience dans le HTML initial, et non dans des scripts.

Traité par IA depuis Habr AI ; édité par Hamidun News
Les robots de ChatGPT et Claude ne voient pas 40 % du texte sur une page tarifaire sur huit
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Anthropicune phrase explicative ajoutée à chaque fragment a fait passer les recherches infructueuses de 5,7 % à 2,9 %
Ahrefscinq systèmes d'IA ignorent JSON-LD, Microdata et RDFa
Chiffre clé #3Sans page tarifaire, l'IA annonçait entre 100 et 2 400 dollars par utilisateur

Le site consacre trois écrans à la description du produit, tout y est expliqué, et pourtant ChatGPT, GigaChat ou Alice AI répondent par des généralités, ou confondent le produit avec celui d'un concurrent. L'une des causes est technique : les robots de ChatGPT et de Claude téléchargent les fichiers JavaScript (le code qui complète la page dans le navigateur du visiteur), mais ne les exécutent pas. Si les prix ou la description sont générés par un script, le robot ne voit qu'un espace vide.

L'entreprise Profound a vérifié 77 pages tarifaires publiques : sur 10 d'entre elles, soit environ une sur huit, les robots ne voyaient pas au moins 40 % du texte principal. La page pouvait être rédigée avec soin, cette partie-là n'existe pas pour l'IA. La seconde cause tient au fait qu'une IA ne lit pas le site entier, mais plusieurs fragments qu'elle a trouvés.

Conclusion pratique : les informations clés sur le produit doivent figurer dans le HTML initial et être répétées dans chaque paragraphe à contenu autonome.

Ce que lit réellement une IA

Une IA ne charge pas le site dans son intégralité. Elle reçoit quelques fragments trouvés, et si ceux-ci ne disent pas directement ce qu'est le produit et à qui il s'adresse, les détails figurant sur les autres pages ne lui serviront à rien.

Les services n'utilisent pas tous les mêmes robots. ChatGPT a les siens. D'après l'aide d'OpenAI, c'est OAI-SearchBot qui gère la recherche : c'est par lui que les sites apparaissent dans les résultats. GPTBot collecte des données pour l'entraînement et n'a rien à voir avec la recherche, tandis que ChatGPT-User ouvre une page lorsqu'un utilisateur pose une question. Leurs règles respectives dans robots.txt sont indépendantes. Alice AI ne parcourt pas les sites elle-même : elle découpe la question en sous-questions, les envoie à Yandex Search et s'appuie sur les pages les mieux classées. Pour elle, une page mal référencée a presque aucune chance de devenir une source.

Le texte des scripts échappe aux robots

Une étude de Vercel et MERJ, publiée en décembre 2024, a montré que les robots de ChatGPT et de Claude récupèrent le HTML (le code source de la page avant l'exécution des scripts) et les fichiers JavaScript, mais n'exécutent pas ces scripts. Les fichiers JavaScript représentaient 11,50 % des requêtes du robot de ChatGPT et 23,84 % de celles de Claude. Le robot les télécharge, mais pour lui ce n'est que du texte de programme. Si la description du produit est chargée par un script, elle ne figure pas dans le HTML initial, donc elle n'existe pas non plus pour le robot.

Profound a mesuré l'ampleur du problème : sur 77 pages tarifaires, le robot ne voyait pas au moins 40 % du texte sur 10 d'entre elles. Sur le propre site de Profound, les prix étaient aussi générés par un script, et les robots des IA ne les remarquaient pas. Le passage au rendu côté serveur (SSR) a résolu le problème : c'est le serveur qui assemble la page, et le robot reçoit immédiatement le texte finalisé.

Si la page tarifaire n'existe pas du tout, l'IA prend les chiffres auprès de tiers. Pour un produit étudié, les réponses de l'IA annonçaient des prix allant d'environ 100 à 2 400 dollars par utilisateur et par mois, souvent d'après des discussions sur Reddit. Un écart de 24 pour un même produit : l'acheteur ne peut rien tirer d'une telle réponse.

Le balisage Schema.org ne suffit pas non plus. Ahrefs a testé ChatGPT, Claude, Perplexity, Gemini et le mode IA de Google : les cinq ne prenaient en temps réel que le HTML visible et ignoraient JSON-LD, Microdata et RDFa. Sur 1 885 pages ayant ajouté du JSON-LD entre août 2025 et mars 2026, les citations n'ont pas augmenté dans le mode IA de Google ni dans ChatGPT, et elles ont baissé de 4,6 % dans les AI Overviews, même si les auteurs ne peuvent pas relier nettement cette baisse au balisage. On peut garder le balisage, mais il ne doit pas être l'unique exemplaire d'une information.

Chaque paragraphe doit nommer le produit

Même le texte visible, l'IA le prend par morceaux. Anthropic l'illustre avec l'exemple suivant : le fragment « le chiffre d'affaires a progressé de 3 % sur le trimestre » ne nomme ni l'entreprise ni la période. Si l'on ajoute à chaque fragment, avant l'indexation, une explication de 50 à 100 tokens, la recherche se trompe presque deux fois moins souvent : 2,9 % de recherches infructueuses au lieu de 5,7 %. Un site ne peut pas ajouter d'explication à un paragraphe découpé par un système tiers, mais il peut inscrire lui-même le nom du produit dans chaque paragraphe à contenu autonome.

Comparez : « Une solution qui vous aide à croître et à gagner du temps » peut convenir à un millier de produits. « Kassir est une caisse en ligne pour les petites boutiques en ligne : elle enregistre le paiement, édite le ticket et l'envoie au client » nomme le produit, son audience et sa fonction, même sorti de son contexte.

Six contrôles

  1. Ouvrez robots.txt et cherchez le bloc OAI-SearchBot. La ligne Disallow: / ferme le site à la recherche de ChatGPT. S'il n'existe pas de bloc distinct, ce sont les règles pour User-agent: * qui s'appliquent.
  2. Récupérez la page sans JavaScript (code source ou curl avec grep) et cherchez le nom, le prix et l'audience. Zéro correspondance signifie que c'est un script qui affiche le texte. Faites la même vérification pour les onglets et les carrousels, et recopiez en texte les informations contenues dans les PDF et les images.
  3. Si le texte est absent du HTML, passez au rendu côté serveur ou au pré-rendu.
  4. Vérifiez que le JSON-LD correspond au texte visible : chaque valeur doit aussi figurer sur la page.
  5. Lisez chaque paragraphe sur le produit séparément, sans le titre. Si l'on ne comprend pas de quel produit il s'agit ni à qui il s'adresse, complétez-le.
  6. Demandez à ChatGPT, GigaChat, Alice AI et Perplexity de décrire le produit, et comparez leurs réponses avec le site. En cas d'erreur, ouvrez les sources et trouvez la page tierce qui contient l'inexactitude.

Il faut commencer par le point 2 : tant que le texte n'est pas dans le HTML initial, réécrire les paragraphes est prématuré. Vient ensuite le point 5.

Limites

Les données sont incomplètes. L'étude de Vercel et MERJ date de 2024, les robots ont pu évoluer, et l'on ignore si GigaChat et Perplexity exécutent les scripts. Profound a collecté les réponses du 29 juillet au 10 août 2026 et uniquement sur les prix, tandis qu'Ahrefs a mesuré la fréquence des citations, mais pas l'exactitude de la reformulation. La présence du texte dans le HTML et du nom du produit dans les paragraphes ne garantit pas une réponse correcte de l'IA, mais sans eux, elle n'a d'autre choix que de reconstituer le produit à partir de généralités et de pages tierces.

Dossier

Questions clés sur cet article

Que sait-on sur Ce que lit réellement une IA ?

Une IA ne charge pas le site dans son intégralité. Elle reçoit quelques fragments trouvés, et si ceux-ci ne disent pas directement ce qu'est le produit et à qui il s'adresse, les détails figurant sur les autres pages ne lui serviront à rien. Les services n'utilisent pas tous les mêmes robots. ChatGPT a les siens. D'après l'aide d'OpenAI, c'est OAI-SearchBot qui gère la recherche : c'est par lui que les sites apparaissent dans les résultats.

Que sait-on sur Le texte des scripts échappe aux robots ?

Une étude de Vercel et MERJ, publiée en décembre 2024, a montré que les robots de ChatGPT et de Claude récupèrent le HTML (le code source de la page avant l'exécution des scripts) et les fichiers JavaScript, mais n'exécutent pas ces scripts. Les fichiers JavaScript représentaient 11,50 % des requêtes du robot de ChatGPT et 23,84 % de celles de Claude. Le robot les télécharge, mais pour lui ce n'est que du texte de programme.

Que sait-on sur Chaque paragraphe doit nommer le produit ?

Même le texte visible, l'IA le prend par morceaux. Anthropic l'illustre avec l'exemple suivant : le fragment « le chiffre d'affaires a progressé de 3 % sur le trimestre » ne nomme ni l'entreprise ni la période. Si l'on ajoute à chaque fragment, avant l'indexation, une explication de 50 à 100 tokens, la recherche se trompe presque deux fois moins souvent : 2,9 % de recherches infructueuses au lieu de 5,7 %.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…