Crawl4AI ينظّف صفحات الويب لأنظمة RAG ويحصر الزحف في 25 مستنداً

تعاني أنظمة RAG من خلل مزعج: لا ينقذها نموذج باهظ الثمن إذا وصلت إلى قاعدة المعرفة قوائم وتذييلات وكتل متكررة وصفحات عشوائية. يسأل المستخدم عن إرجاع منتج، فيعيد له البحث قائمة التنقل في الموقع وقائمة مواد مشابهة. تبدو الإجابة واثقة، لكنها تستند إلى نص خاطئ.

عرضت AWS مسار معالجة عملياً لهذه الحالات: يمر Crawl4AI على الصفحات المسموح بها وينظّفها ويحفظ المحتوى الرئيسي بصيغة Markdown ويضيف إلى كل مستند بيانات وصفية. تُرفع الملفات إلى S3، ثم يتولى Amazon Bedrock Knowledge Bases التقسيم والتضمينات (embeddings) والفهرسة والبحث.

متى يكفي الزاحف المدمج

تنصح AWS بالبدء بالزاحف القياسي Amazon Bedrock Web Crawler. تُمرَّر إليه العناوين الأولية أو خرائط الموقع، وتُحدَّد حدود الزحف وتواتر الطلبات. وهو يلتزم بملف robots.txt، ويستطيع انتظار المحتوى الذي تحمّله JavaScript، وبعد المرور الكامل الأول يزامن الصفحات المضافة والمعدّلة والمحذوفة فقط.

هذا خيار معقول للتوثيق التقني أو لموقع المساعدة، حيث يكون النص المفيد منفصلاً أصلاً عن التصميم. ولا حاجة إلى نشر زاحف خاص وتخزين حالته ومتابعة توسيع نطاقه.

يظهر Crawl4AI حيث تلزم السيطرة قبل التحميل. مثلاً، في صفحة خدمة بلدية توجد ترويسة وفهرس أقسام وأخبار وكتلة واحدة فقط تتضمن قواعد الحصول على التصريح. يستطيع المسار اختيار هذه الكتلة بمحدد CSS، وإزالة بقية الشوائب، وحفظ العناوين والقوائم والجداول بصيغة Markdown. ويمكن إرفاق المستند بالعنوان الأصلي ووقت الزحف ونوع المحتوى وتصنيف خاص، وستفيد هذه الحقول لاحقاً في تصفية نتائج البحث.

كيف يعمل المسار

وفق جدول زمني، يطلق EventBridge مهمة ECS على Fargate. تقرأ المهمة الإعدادات من Systems Manager Parameter Store، وتزحف على المواقع المحددة، وتتحقق من الحدود لا للعناوين الأولية فحسب، بل بعد إعادات التوجيه أيضاً. ويمكن تقييد اتساع الزحف بالنطاق والمسار والعمق وأنماط عناوين URL والحد الأقصى لعدد الصفحات. وهذا يحمي من أن ينحرف الزاحف فجأة إلى قسم مجاور أو يبدأ بجمع الموقع كله.

لكل صفحة تُعالَج بنجاح يُنشأ ملفان: مستند Markdown وملف مجاور بصيغة page.md.metadata.json. وهذا هو الاسم الذي يتوقعه مصدر S3 في Bedrock. حجم ملف البيانات الوصفية محدود بـ 10 كيلوبايت؛ وفي مثال AWS تتوقف المعالجة قبل كتابة الملفين إذا جرى تجاوز الحد.

بعد رفع المجموعة الحالية من المستندات تطلق المهمة ingestion job. يحلل Bedrock المواد الجديدة، وينشئ المقاطع والتضمينات (embeddings)، ثم يحدّث الفهرس المتجهي. وفي قاعدة المعرفة المُدارة تتولى الخدمة نفسها توسيع نطاق التخزين.

ما يجب فحصه قبل الإنتاج

الفخ الرئيسي هو تقسيم المستندات. في قاعدة المعرفة المُدارة ينشئ الوضع الافتراضي مقاطع من 300 رمز (token) مع تداخل 20%. ويمكن تحديد حجم ثابت آخر، أو تعطيل التقسيم تماماً للملفات المجهزة مسبقاً. لكن لا يمكن تغيير الاستراتيجية المختارة في مصدر قائم: ولإجراء تجربة سيلزم إنشاء مصدر جديد.

لذلك ابدأ بأخذ بضع صفحات نموذجية ومجموعة من أسئلة المستخدمين الحقيقية. قارن بين Web Crawler المدمج وMarkdown المنظَّف، وافحص المقاطع التي عُثر عليها وروابط المصادر. قد يحذف المرشح الاستدلالي في Crawl4AI لا قوائم التنقل فحسب، بل كتلة مفيدة أيضاً، لذا يجب مراجعة عينة تمثيلية يدوياً.

هذا المثال مصمم للتحميل الدفعي لمواقع عامة معروفة، لا للوصول إلى الإنترنت أثناء تقديم الإجابة. كما أن الأقسام التي تتطلب تسجيل الدخول ستحتاج إلى عمل منفصل على الجلسات وSecrets Manager والأمان. والخلاصة العملية بسيطة: ابدأ بالزاحف القياسي في Bedrock، ولا تضف Crawl4AI إلا عندما يحسّن التنظيف والاستخراج الدقيق والبيانات الوصفية الخاصة الإجابات بوضوح على أسئلتك الاختبارية.