Google a expliqué la différence entre Google-Agent et Googlebot pour l'accès et l'indexation par IA

Google a formellement séparé deux types d'accès aux sites: le familier Googlebot pour l'indexation et le nouveau Google-Agent pour les actions initiées par les utilisateurs via les services d'IA de Google. Pour les développeurs et propriétaires de sites, c'est une distinction importante: les visites apparemment similaires de l'infrastructure de Google peuvent maintenant signifier des scénarios complètement différents.

Où se trace la frontière

Googlebot reste un robot d'exploration classique. Sa tâche consiste à parcourir automatiquement les pages, collecter des données pour l'index de recherche, mettre à jour la compréhension de Google du contenu du site et respecter les règles définies via robots.txt. C'est pourquoi les requêtes de Googlebot sont généralement associées au SEO, à la visibilité dans la recherche, aux flux d'actualités, aux images, aux vidéos et à d'autres produits qui dépendent d'une exploration régulière du web sans implication d'utilisateurs spécifiques.

Google-Agent relève d'une catégorie différente: les user-triggered fetchers, des systèmes qui font une requête non de leur propre initiative, mais sur commande d'un utilisateur au sein d'un produit Google. Dans sa documentation, l'entreprise affirme explicitement qu'un tel agent est utilisé pour la navigation web et l'exécution d'actions à la demande de l'utilisateur, citant Project Mariner comme exemple. Le détail crucial est que ce n'est pas un indexeur de recherche: il accède à un site quand une personne a réellement besoin d'un résultat, pas quand Google met régulièrement à jour son index.

Comment les distinguer dans les journaux

Pour les journaux de serveur, la différence devient pratique. Dans la chaîne user-agent, Googlebot aura sa signature familière Googlebot/2.1, tandis que le nouveau client aura Google-Agent au sein d'un modèle de navigateur mobile ou de bureau. Cependant, Google avertit séparément: une seule chaîne user-agent est insuffisante, car elle peut être usurpée. Ces requêtes doivent être vérifiées par adresses IP, DNS inversé et listes JSON publiées de plages; sinon, il est facile de confondre le trafic réel de Google avec des bots qui simplement se font passer pour lui.

• Googlebot utilise des plages séparées de common-crawlers.json et des hôtes comme googlebot.com
• Google-Agent utilise les plages de user-triggered-agents.json
• Les user-triggered fetchers peuvent se résoudre en google.com ou gae.googleusercontent.com
• Google teste déjà web-bot-auth et l'identifiant agent.bot.goog pour ces agents

Ce qui change pour les sites

Pour les propriétaires de sites, cela signifie que tout le trafic « de Google » ne peut plus être mis dans un seul panier. L'exploration automatique pour la recherche, les requêtes ponctuelles d'outils comme NotebookLM et les actions des agents dans le navigateur fonctionnent maintenant en modes techniques différents. Si auparavant la logique était simple—Googlebot indexe, tout le reste est secondaire—maintenant les sites font face à des questions distinctes sur l'analyse, la limitation de débit, la protection contre l'automatisation et les règles d'accès pour les scénarios d'IA qui agissent au nom des utilisateurs.

Il y a aussi une couche plus subtile de distinctions. Par exemple, Google-CloudVertexBot est nécessaire pour le crawling que le site lui-même autorise pour construire Vertex AI Agents, et il n'affecte pas les résultats de recherche. Et Google-Extended n'est pas du tout un robot séparé, mais un jeton de contrôle pour savoir si le contenu peut être utilisé pour entraîner les générations futures de Gemini et pour l'ancrage dans certains produits. Sur cette toile de fond, Google-Agent apparaît comme une autre classe d'accès indépendante: ni recherche, ni entraînement de modèle, ni importation de données d'entreprise, mais exécution en direct d'une tâche utilisateur sur le web.

Ce que cela signifie

Google prépare effectivement le web pour une ère de requêtes pilotées par des agents, où l'IA non seulement lit les pages mais agit en leur sein. Pour les développeurs, c'est un signal pour séparer l'indexation, l'entraînement des modèles et les actions d'IA initiées par l'utilisateur déjà au niveau des journaux, des politiques d'accès et de la surveillance. Pour les équipes SEO, les développeurs backend et les ingénieurs de sécurité, ce n'est plus seulement un terme dans la documentation, mais une nouvelle entité qui devra être prise en compte dans le filtrage du trafic, les alertes et les rapports.