الشبكات العصبية ترى هيكلًا فارغًا بدل الموقع: زواحف الذكاء الاصطناعي لا تنفّذ JavaScript

الموقع في صدارة نتائج البحث، والزيارات متواصلة، والتحويلات مستقرة. ومع ذلك، عند السؤال «ما هي شركة X»، يذكر ChatGPT ثلاثة منافسين أو يروي وقائع عمرها عامان. أجرى مؤلفو تحليل حديث على Habr استعلامات على موقعهم الخاص عبر نماذج مختلفة، وراجعوا ما تتلقاه بنيتها التحتية، وخلصوا إلى نتيجة بسيطة. المحتوى كان كافيًا، لكنه لم يصل إلى النموذج ببساطة: بعض زواحف الذكاء الاصطناعي لا تنفّذ JavaScript، فترى هيكلًا فارغًا للصفحة بدل المقال.

لماذا لا يحل «المزيد من المحتوى» المشكلة

ردّ الفعل الأول لدى المسوّقين والمطورين متوقع: إعادة كتابة النصوص، وإضافة الخبرة، وتنسيق أقسام FAQ. الفرضية منطقية، لكنها، بحسب تجربة المؤلفين، لا تتأكد تقريبًا أبدًا. فالشبكة العصبية لا تجيب بما هو مكتوب على موقعكم، بل بما وصل إليها. وإذا ضاع المحتوى بين الخادم والنموذج، فإن أي تعديل في النص يذهب هباءً.

مصدر الفقد الرئيسي بسيط. فالمواقع الحديثة المبنية على React وVue وAngular كثيرًا ما تسلّم المتصفح حدًا أدنى من HTML مع نصوص برمجية، بينما يُجمَّع النص نفسه لاحقًا على جانب العميل. يرى الإنسان صفحة جاهزة. أما الزاحف الذي لا يشغّل JavaScript فيتلقى `<div id="root"></div>` ولا شيء غيره.

وتؤكد ذلك قياسات مستقلة. فقد حلّلت دراسة لـ Vercel وMERJ، نُشرت في أواخر عام 2024، حركة بوتات OpenAI وAnthropic: كانت تطلب ملفات JavaScript لكنها لم تنفّذها. في المقابل، يعرض Googlebot الصفحات عرضًا كاملًا، ولهذا قد يكون الموقع سليمًا لمحركات البحث وفارغًا بالنسبة إلى الشبكة العصبية.

أين يضيع المحتوى في الطريق

يتألف المسار من الموقع إلى إجابة النموذج من عدة حلقات، وقد تتعطل كل واحدة منها:

• العرض (Rendering): لا يظهر النص إلا بعد تنفيذ JS، والزاحف لا يشغّله.
• الوصول: يحجب robots.txt أو WAF أو الحماية من البوتات كلًّا من GPTBot وClaudeBot وPerplexityBot وما شابهها من البوتات.
• المحتوى المخفي: توجد البيانات الأساسية داخل علامات تبويب وقوائم أكورديون ونوافذ منبثقة لا تُحمَّل إلا بعد النقر.
• ذاكرة تخزين مؤقت قديمة: يعتمد النموذج على نسخة قديمة من الصفحة أو على إشارات من جهات خارجية، لا على الموقع الحالي.
• بنية ضعيفة: لا توجد عناوين ولا ترميز schema.org ولا تواريخ تحديث تتيح معرفة الأحدث.

وينبغي التمييز بين زواحف التدريب وزواحف البحث. تجمع الأولى بيانات لتدريب النماذج، وتجلب الثانية الصفحات لحظة الإجابة عن سؤال المستخدم. ولا يجوز أن يؤدي حجب الأولى إلى قطع الوصول عن الثانية، بينما تُكتب قواعد robots.txt لدى معظم الشركات بسطر واحد يشمل الجميع دفعة واحدة.

ما الذي ينبغي فحصه وإصلاحه

يمكن البدء خلال خمس عشرة دقيقة ودون الاستعانة بمقاولين.

1. افتحوا الشيفرة المصدرية للصفحة (view-source) أو نفّذوا `curl` وتحققوا من وجود النص الرئيسي في HTML. إذا لم تجدوا سوى النصوص البرمجية، فقد وجدتم المشكلة. 2. أعيدوا الطلب بـ User-Agent خاص ببوتات الذكاء الاصطناعي. إذا أعاد الخادم 403 أو كابتشا، فالوصول مغلق على مستوى الحماية، لا على مستوى المحتوى. 3. راجعوا robots.txt وقواعد CDN: أي البوتات مسموح لها، وأيها محجوب عن قصد. 4. قارنوا إجابات نماذج مختلفة عن أسئلة تخص الشركة، ودوّنوا الوقائع التي تعرفها والوقائع التي تخلط فيها.

إذا كان النص غائبًا عن HTML، فعلاجه العرض من جهة الخادم (SSR) أو التوليد الثابت (SSG): تدعم Next.js وNuxt وAstro ذلك مباشرةً دون إعدادات إضافية. وفي المشاريع القديمة يكفي أحيانًا العرض المسبق (prerender) للبوتات المعروفة. بعد ذلك يُستحسن نقل المهم إلى HTML خالص: وصف المنتج والأسعار وبيانات الاتصال وتواريخ التحديث. أضيفوا الترميز المنظَّم، وحافظوا على sitemap محدّثًا مع قيمة lastmod صحيحة.

يُقترح أحيانًا تنسيق llms.txt حلًّا مستقلًّا. لكن البيانات الموثوقة عن تأثيره الفعلي في إجابات النماذج ما زالت شحيحة، ولا ينبغي تقديمه على إتاحة المحتوى الأساسية. ينبغي أولًا التأكد من أن الصفحة تُقرأ دون متصفح. وكل ما عدا ذلك لا يعمل إلا بعد ذلك.