robots.txt n’interdit pas l’entraînement de l’IA : quels robots bloquer pour rester présent dans les réponses

De nombreux propriétaires de sites ajoutent une directive Disallow pour GPTBot dans robots.txt, convaincus d’avoir mis leurs textes hors de portée de ChatGPT. Gary Illyes, de Google, l’a rappelé : ce n’est pas le cas. Ce fichier répond à une seule question : le robot peut-il télécharger la page ? Il ne détermine pas ce que le système fait ensuite du contenu.

Ce que fait réellement Disallow

La norme RFC 9309 décrit robots.txt comme un ensemble de préférences d’accès. C’est un panneau « prière de ne pas entrer » : un robot respectueux restera derrière la porte, mais le panneau ne dit rien de ce qu’il a déjà vu. Une nouvelle directive ne concerne donc que les explorations futures. Les pages téléchargées auparavant restent dans les données d’entraînement.

La norme ne prévoit aucune directive générale permettant d’« interdire toute IA ». Google ne reconnaît que User-Agent, Allow, Disallow et Sitemap, et ignore les directives inventées. Pour bloquer un robot d’exploration précis, il faut indiquer son identifiant.

Trois robots au lieu d’un

Chez OpenAI et Anthropic, les robots sont répartis par fonction :

• entraînement : GPTBot et ClaudeBot ;
• recherche du service : OAI-SearchBot et Claude-SearchBot ;
• requête de l’utilisateur : ChatGPT-User et Claude-User.

Les réglages sont indépendants. Vous pouvez bloquer GPTBot tout en restant présent dans la recherche de ChatGPT grâce à OAI-SearchBot. OpenAI précise toutefois que les règles de robots.txt peuvent ne pas s’appliquer à ChatGPT-User. Anthropic prévient de son côté que si vous bloquez Claude-User, Claude ne pourra plus ouvrir votre page à la demande d’un utilisateur, ce qui réduira sa visibilité.

Chez Google, l’identifiant Google-Extended permet de gérer séparément l’entraînement. Il agit sur l’entraînement de Gemini et sur le grounding, c’est-à-dire la transmission d’une page au modèle au moment de produire une réponse, mais pas sur la recherche classique. Le bloquer peut donc vous coûter une place dans les réponses de Gemini. Applebot-Extended et CCBot remplissent des fonctions comparables : le premier détermine si les données recueillies par Applebot peuvent servir à entraîner les modèles d’Apple ; le second permet de fermer l’accès à Common Crawl.

En Russie, le choix est plus limité. Pour ne pas figurer dans les réponses rapides d’Alisa AI, Yandex recommande de bloquer YandexAdditional et YandexAdditionalBot. Les modifications sont prises en compte sous 2–14 jours. Il n’existe aucun identifiant réservé à l’entraînement, et bloquer YandexBot retire également le site des résultats de recherche. Sber ne publie pas le nom du robot de GigaChat : impossible, donc, de le désigner dans le fichier.

Un fichier type permettant de « refuser l’entraînement tout en restant visible » se présente ainsi : un premier groupe User-agent réunit GPTBot, ClaudeBot, CCBot et Applebot-Extended avec Disallow: /. Les identifiants de recherche et ceux associés aux requêtes des utilisateurs sont autorisés séparément avec Allow: /.

Qui ignore les règles et comment réagir

Tous ne respectent pas les consignes. En août 2025, Cloudflare a montré que Perplexity changeait de user agent et d’ASN, le numéro de système autonome du réseau, lorsqu’il était bloqué, et ne demandait parfois même pas robots.txt. Le robot se présentait comme Chrome sous macOS, sur des dizaines de milliers de domaines. Dans ce même test, ChatGPT-User s’est révélé le plus respectueux des règles.

Vous pouvez repérer les robots dans vos journaux avec : grep -E «GPTBot|ClaudeBot|CCBot|OAI-SearchBot|ChatGPT-User» access.log. Vérifiez si le robot a demandé /robots.txt et s’il a visité des sections interdites après l’ajout de Disallow. Cette méthode ne permet pas de détecter un identifiant falsifié : recherchez donc aussi les requêtes portant le user-agent d’un navigateur et revenant à intervalles réguliers sur les mêmes pages. Contre ces robots, il faut une protection contre les requêtes automatisées sur le serveur ou dans le CDN, par exemple chez Cloudflare. En revanche, le blocage par IP peut poser problème avec Anthropic : le robot ne pourra pas lire robots.txt, et le refus ne sera pas pris en compte.

D’autres leviers existent : la balise meta nosnippet chez Apple, le protocole TDMRep avec le paramètre tdm-reservation=1, qui a une portée juridique dans l’UE, et Pay Per Crawl de Cloudflare, en bêta fermée.

Et ensuite ?

Depuis le 30 octobre 2026, Anthropic reconnaît un signal commun : User-agent __usage_ai-training avec Disallow: /. Google prévoit de prendre en charge le même mécanisme AIPREF début 2027 et pourrait, selon l’interprétation de Lab Leaders, l’assimiler à Google-Extended, ce qui ferait à nouveau peser un risque sur la présence dans les réponses de Gemini. La norme de l’IETF comportant la règle Content-Usage reste à l’état de projet.

La marche à suivre est simple. Décidez d’abord de ce que vous souhaitez empêcher : l’entraînement ou l’apparition dans les réponses. Bloquez les robots d’entraînement en les désignant par leur nom, laissez l’accès ouvert aux robots de recherche et à ceux qui répondent aux requêtes des utilisateurs, puis vérifiez le résultat dans les journaux du serveur.