أوضحت Google الفرق بين Google-Agent و Googlebot للوصول والفهرسة بـ AI

قامت جوجل بفصل رسميّ بين نوعين من أنواع الوصول إلى المواقع: متصفح جوجل المألوف (Googlebot) للفهرسة والعامل الجديد (Google-Agent) للإجراءات التي يبدئها المستخدمون عبر خدمات الذكاء الاصطناعي من جوجل. بالنسبة للمطورين وأصحاب المواقع، هذا تمييز مهم: الزيارات التي تبدو متشابهة من بنية جوجل الأساسية يمكن أن تعني الآن سيناريوهات مختلفة تماماً.

حيث يكون الحد الفاصل

يظل Googlebot زاحفاً كلاسيكياً للبحث. مهمته هي المرور تلقائياً عبر الصفحات وجمع البيانات لفهرس البحث وتحديث فهم جوجل لمحتوى الموقع والامتثال للقواعس المحددة عبر ملف robots.txt. لهذا السبب ترتبط طلبات Googlebot عادة بتحسين محركات البحث والظهور في نتائج البحث والمجاري الإخبارية والصور والفيديوهات والمنتجات الأخرى التي تعتمد على فحص منتظم للويب دون تدخل مستخدمين محددين.

ينتمي Google-Agent إلى فئة مختلفة - وهي أنظمة جلب يُطلقها المستخدم (user-triggered fetchers)، أي الأنظمة التي تقوم بطلب ليس من تلقاء نفسها بل بأمر من مستخدم داخل أحد منتجات جوجل. تصرح الشركة بوضوح في وثائقها أن هذا الوكيل يُستخدم للملاحة عبر الويب وتنفيذ الإجراءات بناءً على طلب المستخدم، وتذكر Project Mariner كمثال. التفصيل الأساسي هو أن هذا ليس فاهساً للبحث: فهو يزور الموقع عندما يحتاج الشخص فعلاً إلى النتيجة وليس عندما تحدِّث جوجل فهرسها بشكل دوري.

كيفية التمييز في السجلات

بالنسبة إلى سجلات الخادم، يصبح الفرق عملياً. في سطر وكيل المستخدم (user-agent)، سيحمل Googlebot توقيعه المألوف Googlebot/2.1، بينما سيحمل العميل الجديد Google-Agent داخل قالب متصفح جوال أو سطح مكتب. لكن جوجل تحذر بشكل منفصل: وحدها سطر user-agent غير كافية، لأنها قد تكون مزيفة. يجب التحقق من هذه الطلبات عبر عناوين IP والبحث العكسي عن DNS والقوائم المنشورة بصيغة JSON للنطاقات؛ وإلا من السهل الخلط بين حركة جوجل الفعلية والروبوتات التي تتنكر فقط بمثابتها.

• يستخدم Googlebot نطاقات منفصلة من common-crawlers.json وأسماء مضيفين مثل googlebot.com
• يستخدم Google-Agent النطاقات من user-triggered-agents.json
• قد تُترجم برامج جلب يُطلقها المستخدم إلى google.com أو gae.googleusercontent.com
• تختبر جوجل بالفعل web-bot-auth ومعرِّف agent.bot.goog لهذه الوكلاء

ما الذي يتغير بالنسبة للمواقع

بالنسبة لأصحاب المواقع، هذا يعني أن جميع حركة المرور «من جوجل» لا يمكن الآن أن تجمَّع في سلة واحدة. المسح التلقائي للبحث والطلبات لمرة واحدة من أدوات مثل NotebookLM وإجراءات الوكلاء في المتصفح تعمل الآن في أوضاع تقنية مختلفة. إذا كانت المنطق في السابق بسيطاً - Googlebot يفهرس والباقي ثانوي - فالآن تواجه المواقع أسئلة منفصلة حول التحليلات وتحديد معدل الطلبات وحماية الأتمتة والقواعد المتعلقة بالوصول لسيناريوهات الذكاء الاصطناعي التي تتصرف بالنيابة عن المستخدمين.

هناك أيضاً طبقة أكثر دقة من التمييزات. على سبيل المثال، Google-CloudVertexBot ضروري للزحف الذي يسمح به الموقع نفسه من أجل بناء عوامل Vertex AI، وهو لا يؤثر على نتائج البحث. و Google-Extended ليس زاحفاً منفصلاً على الإطلاق، بل رمز تحكم فيما إذا كان يمكن استخدام المحتوى لتدريب الأجيال القادمة من Gemini والاستقرار في بعض المنتجات. على خلفية هذا، يبدو Google-Agent كفئة وصول مستقلة أخرى: لا بحث ولا تدريب نموذج ولا استيراد بيانات شركاتي، بل تنفيذ حي لمهمة المستخدم على الويب.

ما الذي يعنيه هذا

جوجل تجهز بفعالية الويب لعصر الطلبات التي تحركها الوكلاء، حيث لا يقرأ الذكاء الاصطناعي الصفحات فحسب بل يتصرف داخلها. بالنسبة للمطورين، هذا إشارة لفصل الفهرسة وتدريب النماذج والإجراءات التي يطلقها المستخدم بالذكاء الاصطناعي على مستوى السجلات وسياسات الوصول والمراقبة. بالنسبة لفريق تحسين محركات البحث والمطورين الخلفيين ومهندسي الأمان، لم يعد هذا مجرد مصطلح في الوثائق، بل كيان جديد سيتعين مراعاته في تصفية حركة المرور والتنبيهات والتقارير.