ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

روبوتات ChatGPT وClaude لا ترى 40% من النص في كل صفحة أسعار ثامنة

يصف الموقع المنتج بالتفصيل، ومع ذلك يجيب ChatGPT بعبارات عامة. فروبوتات ChatGPT وClaude تنزّل ملفات JavaScript لكنها لا تشغّلها، ولذلك لا يصل إليها النص الذي تُكمله الصفحة داخل المتصفح. فحصت شركة Profound ‏77 صفحة أسعار، ولم ترَ الروبوتات في 10 منها، أي في كل صفحة ثامنة، 40% على الأقل من النص الأساسي. لذلك احرصوا على أن يبقى اسم المنتج وسعره وجمهوره في شيفرة HTML الأصلية، لا داخل السكربتات.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
روبوتات ChatGPT وClaude لا ترى 40% من النص في كل صفحة أسعار ثامنة
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
Anthropicإضافة توضيح إلى المقتطف خفّضت عمليات البحث الفاشلة من 5,7% إلى 2,9%
Ahrefsخمسة أنظمة ذكاء اصطناعي تتجاهل JSON-LD وMicrodata وRDFa
حقيقة رئيسية #3من دون صفحة أسعار، ذكر الذكاء الاصطناعي أرقاماً تتراوح بين $100 و$2 400 للمستخدم الواحد

يشغل وصف المنتج على الموقع ثلاث شاشات، وكل شيء فيه مشروح بإسهاب، ومع ذلك يجيب ChatGPT أو GigaChat أو Алиса AI عنه بعبارات عامة، أو يخلطه بمنتج منافس. أحد الأسباب تقني: تنزّل روبوتات ChatGPT وClaude ملفات JavaScript (الشيفرة التي تُكمل بناء الصفحة في متصفح الزائر)، لكنها لا تشغّلها. فإذا كان سكربت هو الذي يرسم الأسعار أو الوصف، لا يرى الروبوت سوى فراغ.

فحصت شركة Profound ‏77 صفحة أسعار عامة، وفي 10 منها، أي في نحو كل صفحة ثامنة، لم يكن 40% على الأقل من النص الأساسي مرئياً للروبوتات. فقد تكون الصفحة مكتوبة بأي قدر من التفصيل، لكن هذا الجزء غير موجود بالنسبة إلى الذكاء الاصطناعي. والسبب الثاني أن الشبكة العصبية لا تقرأ الموقع كله، بل بضعة مقتطفات عثرت عليها.

والخلاصة العملية: يجب أن تكون الحقائق الأساسية عن المنتج في شيفرة HTML الأصلية، وأن تتكرر في كل فقرة ذات معنى مستقل.

ماذا تقرأ الشبكة العصبية فعلاً

لا تحمّل الشبكة العصبية الموقع كاملاً. فهي تتلقى بضعة مقتطفات عثرت عليها، وإذا لم يرد فيها نص مباشر عن ماهية المنتج ولمن هو، فلن تفيدها تفاصيل الصفحات الأخرى.

تختلف مصادر الخدمات. فلدى ChatGPT روبوتاته الخاصة. ووفق صفحة المساعدة لدى OpenAI، يتولى OAI-SearchBot مهمة البحث: عبره تظهر المواقع في النتائج. أما GPTBot فيجمع بيانات للتدريب ولا علاقة له بالبحث، بينما يفتح ChatGPT-User الصفحة حين يطرح المستخدم سؤالاً. وإعدادات robots.txt مستقلة لكل منها. أما Алиса AI فلا تزحف إلى المواقع بنفسها: إذ تقسّم السؤال إلى أسئلة فرعية وترسلها إلى بحث Яндекс وتعتمد على الصفحات ذات الترتيب المرتفع. وبالنسبة إليها، تكاد الصفحة ضعيفة الترتيب لا تملك أي فرصة لتصبح مصدراً.

الروبوتات لا ترى النص المولَّد بالسكربتات

أظهرت دراسة Vercel وMERJ الصادرة في ديسمبر 2024 أن روبوتات ChatGPT وClaude تتلقى HTML (الشيفرة المصدرية للصفحة قبل تنفيذ السكربتات) وملفات JavaScript، لكنها لا تنفّذ السكربتات نفسها. شكّلت ملفات JavaScript نسبة 11,50% من طلبات زاحف ChatGPT و23,84% من طلبات Claude. ينزّلها الروبوت، لكنها بالنسبة إليه مجرد نص برمجي. وإذا كان وصف المنتج يُحمَّل بواسطة سكربت، فهو غير موجود في HTML الأصلي، وبالتالي غير موجود عند الروبوت.

قاست Profound حجم المشكلة: في 10 من 77 صفحة أسعار لم يرَ الروبوت 40% على الأقل من النص. وفي موقع Profound نفسه كان سكربت يرسم الأسعار أيضاً، ولم تكن زواحف الذكاء الاصطناعي تلاحظها. وقد ساعد الانتقال إلى العرض من جهة الخادم (SSR): فالخادم هو الذي يبني الصفحة، ويحصل الروبوت فوراً على نص جاهز.

وإذا لم تكن هناك صفحة أسعار أصلاً، تأخذ الشبكة العصبية الأرقام من أطراف ثالثة. ففي حالة أحد المنتجات التي شملتها الدراسة، ذكرت إجابات الذكاء الاصطناعي أسعاراً تتراوح بين نحو $100 و$2 400 للمستخدم شهرياً، وغالباً استناداً إلى نقاشات على Reddit. وهذا فارق قدره 24 ضعفاً للمنتج نفسه، ولا يستطيع المشتري الاعتماد على مثل هذه الإجابة.

ولا ينقذ ترميز Schema.org الموقف أيضاً. فقد فحصت Ahrefs كلاً من ChatGPT وClaude وPerplexity وGemini وGoogle AI Mode، وكلها خمسة عند القراءة في الوقت الفعلي اكتفت بـHTML المرئي وتجاهلت JSON-LD وMicrodata وRDFa. وفي 1 885 صفحة أضافت JSON-LD بين أغسطس 2025 ومارس 2026، لم تزد الاستشهادات في AI Mode وChatGPT، وفي AI Overviews نقصت بنسبة 4,6%، مع أن الباحثين لا يستطيعون الجزم بربط ذلك بالترميز. يمكن إبقاء الترميز، لكن لا ينبغي أن يكون النسخة الوحيدة للمعلومة.

يجب أن تذكر كل فقرة اسم المنتج

حتى النص المرئي تأخذه الشبكة العصبية على شكل مقتطفات. وتوضح Anthropic ذلك بمثال: المقتطف «ارتفعت الإيرادات بنسبة 3% خلال الربع» لا يذكر الشركة ولا الفترة. وإذا أُلحق بكل مقتطف قبل الفهرسة توضيح من 50 إلى 100 رمز (token)، يقلّ خطأ البحث بنحو النصف: 2,9% من عمليات البحث الفاشلة بدلاً من 5,7%. لا يستطيع الموقع أن يضيف توضيحاً إلى فقرة اقتطعها نظام خارجي، لكنه يستطيع أن يدرج اسم المنتج بنفسه في كل فقرة ذات معنى.

قارنوا: عبارة «حل يساعد على النمو وتوفير الوقت» تناسب ألف منتج. أما «Кассир — صندوق دفع سحابي للمتاجر الإلكترونية الصغيرة: يستقبل الدفعة ويصدر الإيصال ويرسله إلى المشتري» فتذكر المنتج والجمهور والمهمة حتى لو اقتُطعت من سياقها.

ست فحوصات

  1. افتحوا robots.txt وابحثوا عن كتلة OAI-SearchBot. السطر Disallow: / يغلق الموقع أمام بحث ChatGPT. وإذا لم تكن هناك كتلة مستقلة، فتسري قواعد User-agent: *.
  2. احصلوا على الصفحة من دون JavaScript (الشيفرة المصدرية أو curl مع grep) وابحثوا فيها عن الاسم والسعر والجمهور. صفر نتائج يعني أن سكربتاً هو الذي يرسم النص. افحصوا الأمر نفسه في التبويبات والشرائح المتحركة، وكرّروا نصاً للحقائق الواردة في ملفات PDF والصور.
  3. إذا لم يكن النص موجوداً في HTML، فانتقلوا إلى العرض من جهة الخادم أو العرض المسبق (prerendering).
  4. طابقوا JSON-LD مع النص المرئي: يجب أن تكون كل قيمة موجودة في الصفحة أيضاً.
  5. اقرؤوا كل فقرة عن المنتج منفصلةً، من دون العنوان. وإذا لم يتضح ما هذا المنتج ولمن هو، فأضيفوا ما ينقص.
  6. اسألوا ChatGPT وGigaChat وАлиса AI وPerplexity عن المنتج وقارنوا الإجابات بما في الموقع. وعند الإجابة الخاطئة، افتحوا المصادر وابحثوا عن صفحة الغير التي فيها الخطأ.

يُستحسن البدء بالفحص الثاني: ما دام النص غير موجود في HTML الأصلي، فمن المبكر إعادة كتابة الفقرات. ثم يأتي الفحص الخامس.

القيود

البيانات غير مكتملة. فقد صدرت دراسة Vercel وMERJ في 2024، وربما تغيّرت الروبوتات منذ ذلك الحين، ولا يُعرف هل ينفّذ GigaChat وPerplexity السكربتات. وجمعت Profound الإجابات بين 29 يوليو و10 أغسطس 2026 وفي موضوع الأسعار فقط، بينما حسبت Ahrefs تواتر الاستشهاد لكن لم تقس دقة إعادة الصياغة. وليس في وجود النص في HTML وأسماء المنتج في الفقرات ضمانٌ لإجابة صحيحة من الشبكة العصبية، لكن من دونهما لا يبقى أمامها سوى تركيب المنتج من عبارات عامة وصفحات الآخرين.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ماذا تقرأ الشبكة العصبية فعلاً؟

لا تحمّل الشبكة العصبية الموقع كاملاً. فهي تتلقى بضعة مقتطفات عثرت عليها، وإذا لم يرد فيها نص مباشر عن ماهية المنتج ولمن هو، فلن تفيدها تفاصيل الصفحات الأخرى. تختلف مصادر الخدمات. فلدى ChatGPT روبوتاته الخاصة. ووفق صفحة المساعدة لدى OpenAI، يتولى OAI-SearchBot مهمة البحث: عبره تظهر المواقع في النتائج. أما GPTBot فيجمع بيانات للتدريب ولا علاقة له بالبحث، بينما يفتح ChatGPT-User الصفحة حين يطرح المستخدم سؤالاً. وإعدادات robots.txt مستقلة لكل منها.

ما أبرز التفاصيل حول الروبوتات لا ترى النص المولَّد بالسكربتات؟

أظهرت دراسة Vercel وMERJ الصادرة في ديسمبر 2024 أن روبوتات ChatGPT وClaude تتلقى HTML (الشيفرة المصدرية للصفحة قبل تنفيذ السكربتات) وملفات JavaScript، لكنها لا تنفّذ السكربتات نفسها. شكّلت ملفات JavaScript نسبة 11,50% من طلبات زاحف ChatGPT و23,84% من طلبات Claude. ينزّلها الروبوت، لكنها بالنسبة إليه مجرد نص برمجي. وإذا كان وصف المنتج يُحمَّل بواسطة سكربت، فهو غير موجود في HTML الأصلي، وبالتالي غير موجود عند الروبوت. قاست Profound حجم المشكلة: في 10 من 77 صفحة أسعار لم يرَ الروبوت 40% على الأقل من النص.

ما أبرز التفاصيل حول يجب أن تذكر كل فقرة اسم المنتج؟

حتى النص المرئي تأخذه الشبكة العصبية على شكل مقتطفات. وتوضح Anthropic ذلك بمثال: المقتطف «ارتفعت الإيرادات بنسبة 3% خلال الربع» لا يذكر الشركة ولا الفترة. وإذا أُلحق بكل مقتطف قبل الفهرسة توضيح من 50 إلى 100 رمز (token)، يقلّ خطأ البحث بنحو النصف: 2,9% من عمليات البحث الفاشلة بدلاً من 5,7%. لا يستطيع الموقع أن يضيف توضيحاً إلى فقرة اقتطعها نظام خارجي، لكنه يستطيع أن يدرج اسم المنتج بنفسه في كل فقرة ذات معنى. قارنوا: عبارة «حل يساعد على النمو وتوفير الوقت» تناسب ألف منتج.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…