Google explica a diferença entre Google-Agent e Googlebot no acesso de IA e na indexação

O Google separou formalmente dois tipos de acesso a sites: o conhecido Googlebot, para indexação, e o novo Google-Agent, para ações que o próprio usuário dispara por meio dos serviços de IA da empresa. Para desenvolvedores e donos de sites, a distinção é importante: visitas que parecem idênticas e vêm da infraestrutura do Google agora podem indicar cenários totalmente diferentes.

Onde fica a fronteira

O Googlebot continua sendo o rastreador clássico da busca. Sua função é percorrer páginas automaticamente, coletar dados para o índice de busca, atualizar a visão que o Google tem do conteúdo de um site e respeitar as regras definidas no robots.txt. Por isso, uma requisição do Googlebot costuma estar ligada a SEO, visibilidade na busca, superfícies de notícias, imagens, vídeos e outros produtos que dependem de rastreamento regular da web sem a participação de um usuário específico.

O Google-Agent pertence a outra categoria: os user-triggered fetchers, ou seja, sistemas que fazem a requisição não por iniciativa própria, mas por comando de um usuário dentro de um produto do Google. Na documentação, a empresa afirma diretamente que esse agente é usado para navegar na web e executar ações a pedido do usuário, e cita o Project Mariner como exemplo. O detalhe central é que ele não é um indexador de busca: chega ao site no momento em que a pessoa realmente precisa de um resultado, não quando o Google atualiza o índice de forma programada.

Como diferenciar nos logs

Nos logs do servidor, a diferença se torna prática. Na string de user-agent, o Googlebot traz a assinatura habitual Googlebot/2.1, enquanto o novo cliente aparece como Google-Agent dentro de um modelo de navegador móvel ou desktop. Mas o Google alerta separadamente que a string de user-agent sozinha não basta, porque pode ser falsificada. Essas requisições devem ser verificadas por endereço IP, DNS reverso e pelas listas JSON de intervalos publicadas; caso contrário, é fácil confundir o tráfego genuíno do Google com bots que apenas se disfarçam de Google.

• O Googlebot usa intervalos próprios de common-crawlers.json e hosts do tipo googlebot.com
• O Google-Agent usa os intervalos de user-triggered-agents.json
• Os user-triggered fetchers podem resolver para google.com ou gae.googleusercontent.com
• O Google já testa o web-bot-auth e o identificador agent.bot.goog para esses agentes

O que muda para os sites

Para os donos de sites, isso significa que todo o tráfego "do Google" não pode mais ser jogado no mesmo balaio. O rastreamento automático para a busca, as requisições pontuais de ferramentas como o NotebookLM e as ações agênticas no navegador agora funcionam em modos técnicos diferentes. Se antes a lógica era simples (o Googlebot indexa, o resto é secundário), agora os sites enfrentam perguntas separadas sobre análise de dados, rate limiting, proteção contra automação e regras de acesso para cenários de IA que agem em nome do usuário.

Há também uma camada mais sutil de distinções. Por exemplo, o Google-CloudVertexBot serve para um rastreamento que o próprio site autoriza com o objetivo de construir Vertex AI Agents, e não afeta os resultados de busca. Já o Google-Extended nem é um rastreador separado, mas um token que controla se o conteúdo pode ser usado para treinar futuras gerações do Gemini e para grounding em alguns produtos. Nesse contexto, o Google-Agent surge como mais uma classe de acesso independente: não é busca, nem treinamento de modelo, nem importação corporativa de dados, mas a execução ao vivo de uma tarefa do usuário na web.

O que isso significa

Na prática, o Google prepara a web para uma era de requisições agênticas, em que a IA não apenas lê páginas, mas age dentro delas. Para desenvolvedores, é um sinal para separar indexação, treinamento de modelos e ações de IA iniciadas pelo usuário já no nível de logs, políticas de acesso e monitoramento. Para equipes de SEO, desenvolvedores de backend e engenheiros de segurança, isso deixou de ser um termo da documentação e virou uma nova entidade que precisará ser considerada na filtragem de tráfego, nos alertas e nos relatórios.