ملف robots.txt لا يمنع تدريب الذكاء الاصطناعي: أي الروبوتات تحجب لتبقى حاضراً في الإجابات؟
توجيه Disallow الخاص بـ GPTBot في ملف robots.txt لا يفعل سوى مطالبة الروبوت بعدم تنزيل الصفحات مستقبلاً. وهو لا يمس النصوص التي جُمعت بالفعل، ولا يفصل بين التدريب والظهور في الإجابات. لذلك لدى كل من OpenAI وAnthropic ثلاثة روبوتات مختلفة: للتدريب، وللبحث، ولطلبات المستخدمين. احجب فقط الروبوتات التي تجمع بيانات التدريب، وإلا فسيختفي موقعك من الإجابات أيضاً.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
يضيف كثير من أصحاب المواقع توجيه Disallow خاصاً بـ GPTBot إلى ملف robots.txt، وهم واثقون من أنهم حجبوا نصوصهم عن ChatGPT. لكن غاري إيليش من Google ذكّر بأن الأمر ليس كذلك. فالملف يحسم مسألة واحدة: هل يستطيع الروبوت تنزيل الصفحة؟ أما ما يفعله النظام بالمحتوى بعد ذلك، فلا يحدده هذا الملف.
ما الذي يفعله Disallow فعلياً؟
يصف المعيار RFC 9309 ملف robots.txt بأنه مجموعة من تفضيلات الوصول. إنه أشبه بلافتة تقول «يرجى عدم الدخول»: الروبوت الملتزم لن يتجاوز الباب، لكن اللافتة لا تقول شيئاً عما سبق له أن رآه. لذلك لا ينطبق التوجيه الجديد إلا على عمليات الزحف المستقبلية. أما الصفحات التي نُزّلت سابقاً، فتبقى ضمن بيانات التدريب.
لا يتضمن المعيار توجيهاً عاماً لـ«حظر الذكاء الاصطناعي بالكامل». ولا تتعرف Google إلا على User-Agent وAllow وDisallow وSitemap، وتتجاهل التوجيهات المختلقة. ولحجب زاحف محدد، لا بد من ذكر معرّفه.
ثلاثة روبوتات بدلاً من واحد
توزّع OpenAI وAnthropic الروبوتات بحسب المهام:
- التدريب: GPTBot وClaudeBot؛
- البحث داخل الخدمة: OAI-SearchBot وClaude-SearchBot؛
- طلب المستخدم: ChatGPT-User وClaude-User.
هذه الإعدادات مستقلة بعضها عن بعض. يمكنك حجب GPTBot مع إبقاء موقعك ظاهراً في بحث ChatGPT عبر OAI-SearchBot. لكن OpenAI توضح أن قواعد robots.txt قد لا تنطبق على ChatGPT-User، فيما تحذر Anthropic من أن حجب Claude-User سيمنع Claude من فتح صفحتك بناءً على طلب المستخدم، ما سيقلل ظهورها.
لدى Google، يتيح المعرّف Google-Extended التحكم في التدريب بصورة منفصلة. فهو يؤثر في تدريب Gemini وفي grounding، أي تزويد النموذج بالصفحة أثناء إعداد الإجابة، لكنه لا يؤثر في البحث التقليدي. لذلك قد يؤدي حجبه إلى خسارة الظهور في إجابات Gemini. ويؤدي Applebot-Extended وCCBot دورين مشابهين: الأول يحدد ما إذا كان يمكن تدريب نماذج Apple على البيانات التي يجمعها Applebot، والثاني يغلق الوصول أمام Common Crawl.
في روسيا، الخيارات أضيق. ولمنع الظهور في الإجابات السريعة لخدمة أليسا AI، توصي ياندكس بحجب YandexAdditional وYandexAdditionalBot، وتُطبّق التغييرات خلال 2–14 يوماً. ولا يوجد معرّف منفصل مخصص للتدريب وحده، كما أن حجب YandexBot يزيل الموقع من نتائج البحث أيضاً. ولا تنشر سبير اسم روبوت GigaChat، لذا لا يمكن تحديده في الملف.
يكون الشكل المعتاد لملف يحقق مبدأ «لا للتدريب، مع السماح بالظهور» كالتالي: مجموعة User-agent أولى تضم GPTBot وClaudeBot وCCBot وApplebot-Extended مع Disallow: /. وتُمنح معرّفات البحث وطلبات المستخدمين الإذن بصورة منفصلة عبر Allow: /.
من يتجاهل القواعد، وما العمل؟
لا يلتزم الجميع. ففي أغسطس 2025، أظهرت Cloudflare أن Perplexity يغيّر user agent ورقم النظام المستقل للشبكة، ASN، عند حجبه، بل إنه أحياناً لا يطلب ملف robots.txt أصلاً. وكان الروبوت يعرّف نفسه بأنه Chrome على macOS، وتكرر ذلك على عشرات الآلاف من النطاقات. وفي الاختبار نفسه، كان ChatGPT-User الأكثر التزاماً.
يمكنك التحقق من الروبوتات التي تزور موقعك عبر السجل باستخدام: grep -E «GPTBot|ClaudeBot|CCBot|OAI-SearchBot|ChatGPT-User» access.log. تحقّق مما إذا كان الروبوت قد طلب /robots.txt، وما إذا كان قد زار أقساماً محظورة بعد إضافة Disallow. لكن هذه الطريقة لا تكشف انتحال المعرّف، لذا ابحث أيضاً عن طلبات تحمل user-agent خاصاً بمتصفح وتتردد على الصفحات نفسها بوتيرة منتظمة. ولمواجهة هذه الروبوتات، تحتاج إلى حماية من الطلبات الآلية على مستوى الخادم أو شبكة CDN، مثل الحماية التي تقدمها Cloudflare. أما الحجب بعناوين IP فقد يسبب مشكلة مع Anthropic: لن يتمكن الروبوت من قراءة robots.txt، وبالتالي لن يسري طلب الرفض.
توجد أدوات أخرى أيضاً: وسم nosnippet الوصفي لدى Apple، وبروتوكول TDMRep مع المعامل tdm-reservation=1، الذي يتمتع بأثر قانوني في الاتحاد الأوروبي، وخدمة Pay Per Crawl من Cloudflare، المتاحة في نسخة تجريبية مغلقة.
ماذا بعد؟
منذ 30 أكتوبر 2026، تتعرف Anthropic على إشارة مشتركة: User-agent __usage_ai-training مع Disallow: /. وتخطط Google لدعم آلية AIPREF نفسها في مطلع 2027، وقد تتعامل معها، وفق قراءة Lab Leaders، باعتبارها مكافئة لـ Google-Extended، ما يشكل مجدداً خطراً على الظهور في إجابات Gemini. أما معيار IETF الذي يتضمن قاعدة Content-Usage، فلا يزال مسودة.
الخلاصة العملية بسيطة. حدّد أولاً ما تريد منعه: التدريب أم الظهور في الإجابات. احجب روبوتات التدريب بأسمائها، وأبقِ الوصول متاحاً لروبوتات البحث وتلك التي تلبي طلبات المستخدمين، ثم تحقّق من النتيجة عبر سجلات الخادم.
- 9 نوفمبر 2026Automattic تطلق Spacefast: استضافة مع قاعدة بيانات ومصادقة لمشاريع البرمجة بالذكاء الاصطناعي
- 9 نوفمبر 2026المديرة التقنية في Ironclad: لن تنتج النماذج اللغوية الكبيرة ذكاءً فائقًا، لكن الوكلاء خطرون بالفعل
- 9 نوفمبر 2026قائد DevOps يطلق nib: وكيل يقسّم عملية النشر على AWS إلى مراحل وفحوصات وتراجع
- 9 نوفمبر 2026WorldParticle من MIT يستبدل مجموعة من المحاكيات بشبكة عصبية واحدة ويحاكي البروتينات بسرعة أعلى بـ100 مرة
أسئلة وأجوبة حول الخبر
ما الذي يفعله Disallow فعلياً؟
يصف المعيار RFC 9309 ملف robots.txt بأنه مجموعة من تفضيلات الوصول. إنه أشبه بلافتة تقول «يرجى عدم الدخول»: الروبوت الملتزم لن يتجاوز الباب، لكن اللافتة لا تقول شيئاً عما سبق له أن رآه. لذلك لا ينطبق التوجيه الجديد إلا على عمليات الزحف المستقبلية. أما الصفحات التي نُزّلت سابقاً، فتبقى ضمن بيانات التدريب. لا يتضمن المعيار توجيهاً عاماً لـ«حظر الذكاء الاصطناعي بالكامل». ولا تتعرف Google إلا على User-Agent وAllow وDisallow وSitemap، وتتجاهل التوجيهات المختلقة. ولحجب زاحف محدد، لا بد من ذكر معرّفه.
من يتجاهل القواعد، وما العمل؟
لا يلتزم الجميع. ففي أغسطس 2025، أظهرت Cloudflare أن Perplexity يغيّر user agent ورقم النظام المستقل للشبكة، ASN، عند حجبه، بل إنه أحياناً لا يطلب ملف robots.txt أصلاً. وكان الروبوت يعرّف نفسه بأنه Chrome على macOS، وتكرر ذلك على عشرات الآلاف من النطاقات. وفي الاختبار نفسه، كان ChatGPT-User الأكثر التزاماً. يمكنك التحقق من الروبوتات التي تزور موقعك عبر السجل باستخدام: grep -E «GPTBot|ClaudeBot|CCBot|OAI-SearchBot|ChatGPT-User» access.log.
ماذا بعد؟
منذ 30 أكتوبر 2026، تتعرف Anthropic على إشارة مشتركة: User-agent __usage_ai-training مع Disallow: /. وتخطط Google لدعم آلية AIPREF نفسها في مطلع 2027، وقد تتعامل معها، وفق قراءة Lab Leaders، باعتبارها مكافئة لـ Google-Extended، ما يشكل مجدداً خطراً على الظهور في إجابات Gemini. أما معيار IETF الذي يتضمن قاعدة Content-Usage، فلا يزال مسودة. الخلاصة العملية بسيطة. حدّد أولاً ما تريد منعه: التدريب أم الظهور في الإجابات.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.