Trois bots d’Anthropic portent jusqu’à 92 % les chances qu’un site figure parmi les sources de Claude

Un site peut être utile, bien rédigé et accessible à Google — sans pour autant être repéré par Claude lors d’une recherche. La raison est souvent banale : le propriétaire voulait interdire l’utilisation de ses textes pour entraîner des modèles et a bloqué tous les bots d’Anthropic avec une seule règle. En même temps que le robot chargé de collecter les données d’entraînement, il a ainsi coupé l’indexation pour la recherche et la lecture des pages via un lien direct.

Anthropic utilise des bots distincts pour ces tâches. ClaudeBot collecte des contenus destinés à l’entraînement des modèles. Claude-SearchBot indexe les pages susceptibles d’apparaître dans les résultats de recherche web de Claude. Claude-User accède à une page précise lorsqu’un utilisateur fournit un lien ou demande son contenu. Bloquer ClaudeBot ne devrait donc pas, à lui seul, priver un site de visibilité — à condition que les deux autres bots soient effectivement autorisés.

Une seule interdiction résout le mauvais problème

Prenons la documentation d’un service SaaS. L’équipe ne veut pas qu’elle soit intégrée à de futurs jeux de données d’entraînement, mais souhaite que Claude cite les instructions lorsqu’un client pose une question. Dans robots.txt, elle peut alors interdire l’accès à ClaudeBot et autoriser séparément Claude-SearchBot et Claude-User. Sous une forme simplifiée, la logique est la suivante : Disallow: / pour le premier et Allow: / pour les deux autres.

Mais robots.txt ne suffit pas. Un WAF ou un CDN peut rejeter les requêtes avant même que le bot ne lise les règles. Par exemple, une règle prête à l’emploi bloquant les robots d’IA peut regrouper plusieurs user-agents. Le fichier autorise alors l’accès, tandis que la protection du site renvoie un refus. Il faut vérifier toute la chaîne : le robots.txt de chaque sous-domaine, les règles du CDN et du WAF, puis les journaux du serveur. Le nom du bot dans le user-agent doit être recoupé avec la liste d’adresses IP publiée par Anthropic, car cette chaîne est facile à usurper.

L’indexation ne signifie pas encore la citation

Une fois les bots autorisés, la page doit intégrer l’index de recherche utilisé par Claude. Anthropic ne nomme pas officiellement son fournisseur de recherche, mais plusieurs observations indépendantes indiquent une forte corrélation avec Brave Search. Dans une comparaison, 87,8 % des pages trouvées par Claude figuraient dans le top 10 de Brave ; pour Google, le taux de correspondance était de 45,6 %. Dans une autre mesure, les sites classés de la 1re à la 3e place sur Brave étaient cités dans 92 % des réponses étudiées, contre 12 % pour les pages situées hors du top 20.

Il s’agit d’une corrélation, et non de la preuve d’un lien de causalité direct. Ces résultats ne peuvent pas non plus être automatiquement transposés aux requêtes en langue russe. En outre, Claude ne recourt pas systématiquement à la recherche web : dans l’étude State of AEO 2026, celle-ci a été activée dans 36,6 % des cas. Si le modèle répond de mémoire, une page récente ne pourra pas devenir une source, quels que soient les réglages du site.

Les vérifications à effectuer en pratique

Commencez par examiner le fichier robots.txt du domaine principal et de tous les sous-domaines. Assurez-vous que Claude-SearchBot et Claude-User ne sont pas concernés par une règle générale Disallow: /. Vérifiez ensuite le WAF, le CDN et les journaux d’accès. Recherchez enfin la page dans Brave à l’aide de plusieurs requêtes pour lesquelles elle fournit réellement la meilleure réponse.

La dernière vérification consiste à transmettre à Claude un lien direct et à lui demander de résumer la page, puis à poser une question thématique en ajoutant la formule Search the web. Répétez l’expérience avec plusieurs formulations : l’apparition ou l’absence ponctuelle d’un lien ne prouve rien.

La conclusion pratique est simple : distinguez le refus de l’entraînement du refus de visibilité dans les résultats de recherche. Bloquez ClaudeBot si la politique de l’entreprise l’exige, mais laissez délibérément l’accès à Claude-SearchBot et Claude-User. Cela ne garantit pas une place dans la réponse, mais élimine la cause technique qui empêchait Claude d’examiner votre contenu.