ثلاثة روبوتات من Anthropic ترفع احتمال ظهور الموقع ضمن مصادر Claude إلى 92%
قد يمنع مالك الموقع Anthropic من استخدام نصوصه في التدريب، ثم يختفي من مصادر Claude من دون قصد. والسبب هو وجود ثلاثة روبوتات مختلفة: يجمع ClaudeBot بيانات التدريب، ويفهرس Claude-SearchBot الصفحات لأغراض البحث، بينما يفتح Claude-User الرابط بناءً على طلب المستخدم. والخطوة العملية هي فحص robots.txt وجدار حماية تطبيقات الويب WAF وسجلات الخادم، مع السماح للروبوتين الأخيرين بالوصول.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
قد يكون الموقع مفيدًا وجيد الصياغة ومتاحًا لـ Google — ومع ذلك لا يراه Claude عند البحث. وغالبًا ما يكون السبب بسيطًا: أراد المالك منع استخدام نصوصه في تدريب النماذج، فحظر جميع روبوتات Anthropic بقاعدة واحدة. ونتيجة لذلك، حجب إلى جانب جامع بيانات التدريب كلًا من فهرسة البحث وقراءة الصفحات عبر رابط مباشر.
تخصص Anthropic روبوتات مختلفة لهذه المهام. يجمع ClaudeBot المواد اللازمة لتدريب النماذج. ويفهرس Claude-SearchBot الصفحات التي قد تظهر ضمن نتائج بحث Claude على الويب. أما Claude-User فيصل إلى صفحة بعينها عندما يرسل المستخدم رابطًا أو يطلب محتواها. لذلك، لا يفترض أن يؤدي حظر ClaudeBot وحده إلى حرمان الموقع من الظهور — بشرط السماح فعليًا للروبوتين الآخرين.
حظر واحد يعالج المشكلة الخطأ
لنفترض أن لدينا وثائق خدمة SaaS. لا يريد الفريق إدراجها في مجموعات بيانات التدريب المستقبلية، لكنه يريد أن يستشهد Claude بالتعليمات عند طرح العملاء أسئلة. عندئذ يمكن حظر وصول ClaudeBot في ملف robots.txt، مع السماح بشكل منفصل لكل من Claude-SearchBot وClaude-User. وفي صيغة مبسطة، يكون المنطق على النحو التالي: Disallow: / للأول وAllow: / للروبوتين الآخرين.
لكن ملف robots.txt وحده لا يكفي. فقد يرفض جدار حماية تطبيقات الويب WAF أو شبكة توصيل المحتوى CDN الطلبات قبل أن يقرأ الروبوت القواعد. فعلى سبيل المثال، قد تجمع قاعدة جاهزة لحظر زواحف الذكاء الاصطناعي عدة user-agents في مجموعة واحدة. حينها يسمح الملف بالوصول، بينما تعيد حماية الموقع استجابة رفض. ويجب فحص السلسلة بأكملها: ملف robots.txt لكل نطاق فرعي، وقواعد CDN وWAF، ثم سجلات الخادم. كما ينبغي مطابقة اسم الروبوت الوارد في user-agent مع قائمة عناوين IP التي نشرتها Anthropic، لأن انتحال هذه السلسلة سهل.
الفهرسة لا تعني الاستشهاد بعد
بعد السماح للروبوتات، يجب أن تدخل الصفحة في فهرس البحث الذي يستخدمه Claude. ولا تعلن Anthropic رسميًا اسم مزود البحث، إلا أن عدة ملاحظات مستقلة تشير إلى ارتباط قوي مع Brave Search. ففي إحدى المقارنات، كانت 87,8% من الصفحات التي عثر عليها Claude ضمن النتائج العشر الأولى في Brave؛ أما نسبة التطابق مع Google فبلغت 45,6%. وفي قياس آخر، استُشهد بالمواقع التي احتلت المراكز 1–3 في Brave ضمن 92% من الإجابات التي شملتها الدراسة، مقابل 12% للصفحات الواقعة خارج أفضل 20 نتيجة.
هذا ارتباط وليس دليلًا على وجود علاقة سببية مباشرة. كذلك لا يمكن تعميم النتائج تلقائيًا على الاستعلامات باللغة الروسية. إضافة إلى ذلك، لا يلجأ Claude دائمًا إلى البحث على الويب: ففي دراسة State of AEO 2026، جرى تفعيل البحث في 36,6% من الحالات. وإذا أجاب النموذج اعتمادًا على ذاكرته، فلن تتمكن صفحة حديثة من أن تصبح مصدرًا مهما كانت إعدادات الموقع.
ما الذي ينبغي التحقق منه عمليًا
ابدأ بملف robots.txt على النطاق الرئيسي وجميع النطاقات الفرعية. وتأكد من أن Claude-SearchBot وClaude-User لا يخضعان لقاعدة عامة من نوع Disallow: /. بعد ذلك، افحص WAF وCDN وسجلات الوصول. ثم ابحث عن الصفحة في Brave باستخدام عدة استعلامات تقدم الصفحة لها أفضل إجابة فعلًا.
أما الاختبار الأخير فهو إعطاء Claude رابطًا مباشرًا وطلب تلخيص الصفحة، ثم طرح سؤال متعلق بموضوعها مع العبارة Search the web. كرر التجربة باستخدام عدة صياغات: فظهور الرابط مرة واحدة أو غيابه لا يثبت شيئًا.
الخلاصة العملية بسيطة: افصل بين رفض استخدام المحتوى في التدريب ورفض ظهوره في البحث. احظر ClaudeBot إذا كانت سياسة الشركة تتطلب ذلك، لكن أبقِ عن قصد إمكانية وصول Claude-SearchBot وClaude-User. لا يضمن هذا مكانًا في الإجابة، لكنه يزيل السبب التقني الذي كان يمنع Claude من النظر في محتواك أصلًا.
- 8 نوفمبر 2026Anthropic تنفق 58% من إيراداتها على الحوسبة رغم نمو الإيرادات الفصلية إلى 17 مليار دولار
- 8 نوفمبر 2026أنجز Pepper-orchestrator ثلاث حزم خلال ساعة و52 دقيقة من دون كتابة الكود يدويا
- 8 نوفمبر 2026Не программист повторил HackerTube Карпатого для Хабра: 388 роликов за вечер
- 8 نوفمبر 2026عبارة واحدة من قائد الفريق في المطالبة غيّرت تقدير ChatGPT وClaude للمهام بنسبة 20%
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول حظر واحد يعالج المشكلة الخطأ؟
لنفترض أن لدينا وثائق خدمة SaaS. لا يريد الفريق إدراجها في مجموعات بيانات التدريب المستقبلية، لكنه يريد أن يستشهد Claude بالتعليمات عند طرح العملاء أسئلة. عندئذ يمكن حظر وصول ClaudeBot في ملف robots.txt، مع السماح بشكل منفصل لكل من Claude-SearchBot وClaude-User. وفي صيغة مبسطة، يكون المنطق على النحو التالي: Disallow: / للأول وAllow: / للروبوتين الآخرين. لكن ملف robots.txt وحده لا يكفي. فقد يرفض جدار حماية تطبيقات الويب WAF أو شبكة توصيل المحتوى CDN الطلبات قبل أن يقرأ الروبوت القواعد.
ما أبرز التفاصيل حول الفهرسة لا تعني الاستشهاد بعد؟
بعد السماح للروبوتات، يجب أن تدخل الصفحة في فهرس البحث الذي يستخدمه Claude. ولا تعلن Anthropic رسميًا اسم مزود البحث، إلا أن عدة ملاحظات مستقلة تشير إلى ارتباط قوي مع Brave Search. ففي إحدى المقارنات، كانت 87,8% من الصفحات التي عثر عليها Claude ضمن النتائج العشر الأولى في Brave؛ أما نسبة التطابق مع Google فبلغت 45,6%. وفي قياس آخر، استُشهد بالمواقع التي احتلت المراكز 1–3 في Brave ضمن 92% من الإجابات التي شملتها الدراسة، مقابل 12% للصفحات الواقعة خارج أفضل 20 نتيجة.
ما أبرز التفاصيل حول ما الذي ينبغي التحقق منه عمليًا؟
ابدأ بملف robots.txt على النطاق الرئيسي وجميع النطاقات الفرعية. وتأكد من أن Claude-SearchBot وClaude-User لا يخضعان لقاعدة عامة من نوع Disallow: /. بعد ذلك، افحص WAF وCDN وسجلات الوصول. ثم ابحث عن الصفحة في Brave باستخدام عدة استعلامات تقدم الصفحة لها أفضل إجابة فعلًا. أما الاختبار الأخير فهو إعطاء Claude رابطًا مباشرًا وطلب تلخيص الصفحة، ثم طرح سؤال متعلق بموضوعها مع العبارة Search the web. كرر التجربة باستخدام عدة صياغات: فظهور الرابط مرة واحدة أو غيابه لا يثبت شيئًا.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.