Google explicó la diferencia entre Google-Agent y Googlebot para acceso e indexación de IA

Google формально развела два типа доступа к сайтам: привычный Googlebot для индексации и новый Google-Agent для действий, которые запускает сам пользователь через AI-сервисы компании. Для разработчиков и владельцев сайтов это важное различие: одинаково выглядящие визиты из инфраструктуры Google теперь могут означать совсем разный сценарий.

Где проходит граница Googlebot остаётся классическим поисковым краулером.

Его задача — автоматически обходить страницы, собирать данные для поискового индекса, обновлять представление Google о содержимом сайта и учитывать правила, заданные через robots.txt. Именно поэтому запрос от Googlebot обычно связан с SEO, видимостью в поиске, новостными поверхностями, картинками, видео и другими продуктами, которые зависят от регулярного сканирования веба без участия конкретного пользователя.

Google-Agent относится уже к другой категории — user-triggered fetchers, то есть системам, которые делают запрос не по собственной инициативе, а по команде пользователя внутри продукта Google. В документации компания прямо пишет, что такой агент используется для навигации по вебу и выполнения действий по запросу пользователя, а в качестве примера приводит Project Mariner. Ключевая деталь в том, что это не индексатор поиска: он приходит на сайт в момент, когда человеку реально нужен результат, а не когда Google планово обновляет индекс.

Как отличить в логах Для серверных логов разница становится практической.

В строке user-agent у Googlebot будет привычная подпись Googlebot/2.1, а у нового клиента — Google-Agent внутри мобильного или десктопного браузерного шаблона. Но Google отдельно предупреждает: одной строки user-agent недостаточно, потому что её можно подделать. Проверять такие запросы нужно по IP-адресам, обратному DNS и опубликованным JSON-спискам диапазонов, иначе легко перепутать настоящий трафик Google с ботами, которые просто маскируются под него.

• Googlebot использует отдельные диапазоны common-crawlers.json и хосты вида googlebot.com Google-Agent использует диапазоны из user-triggered-agents.json User-triggered fetchers могут резолвиться в google.com или gae.googleusercontent.com * Google уже тестирует web-bot-auth и идентификатор agent.bot.goog для таких агентов ## Что меняется для сайтов Для владельцев сайтов это означает, что весь «гугловский» трафик больше нельзя складывать в одну корзину. Автоматическое сканирование для поиска, разовые запросы от инструментов вроде NotebookLM и агентные действия в браузере теперь живут в разных технических режимах. Если раньше логика была простой — Googlebot индексирует, остальное вторично, — то теперь у сайта появляются отдельные вопросы к аналитике, rate limiting, защите от автоматизации и правилам доступа для AI-сценариев, которые действуют от лица пользователя. Есть и более тонкий слой разграничений. Например, Google-CloudVertexBot нужен для обхода, который сайт сам разрешает ради построения Vertex AI Agents, и он не влияет на поисковую выдачу. А Google-Extended вообще не отдельный краулер, а токен управления тем, можно ли использовать контент для обучения будущих поколений Gemini и для grounding в некоторых продуктах. На этом фоне Google-Agent выглядит как ещё один самостоятельный класс доступа: не поиск, не обучение модели и не корпоративный импорт данных, а живое выполнение пользовательской задачи на вебе.

Что это значит

Google фактически готовит веб к эпохе агентных запросов, где AI не только читает страницы, но и действует внутри них. Для разработчиков это сигнал разделять индексацию, обучение моделей и пользовательские AI-действия уже на уровне логов, политик доступа и мониторинга. Для SEO-команд, backend-разработчиков и security-инженеров это уже не термин из документации, а новая сущность, которую придётся учитывать в фильтрации трафика, алертах и отчётах.