Qdrant وHybrid RAG: البحث في الوثائق المؤسسية من دون سحابة أو تسريبات

البحث عن المستندات الشركية لا يعوقه نقص البيانات، بل حقيقة أن هذه البيانات موزعة عبر ملفات PDF والمسح الضوئي والجداول والمراسلات. يقدم Hybrid RAG معمارية تسمح بالبحث في الأرشيفات الداخلية محلياً، دون الكشف عن المعلومات الحساسة للسحابة.

حيث ينهار البحث

يعمل RAG القياسي بشكل جيد على قواعس البيانات النظيفة والمتجانسة: على سبيل المثال، الأسئلة الشائعة، لائحة واحدة، أو مجموعة من المستندات النصية النقية. لكن في العمل الفعلي، تعيش المستندات في تنسيقات مختلفة، بلغتين وتحتوي غالباً ليس فقط على نص، بل أيضاً على جداول وأكواد وأرقام مواد والصفحات الممسوحة ضوئياً. في مثل هذه البيئة، البحث الدلالي وحده ليس كافياً: الاستعلام حول المطالبات ضد الطرف المقابل أو الكود 8471300000 يتطلب فهم معنى السؤال بدقة والعثور على أرقام وصيغ محددة بشكل دقيق.

هنا يختلف Hybrid RAG عن النهج الكلاسيكي. لا يحاول النظام ببساطة "إطعام" الأرشيف لنموذج لغة، بل يجمع أولاً السياق ذي الصلة من عدة أنواع من البحث. هذا مهم بشكل خاص للخدمات اللوجستية والبنوك والجمارك والشركات القانونية، حيث يحتاج المستخدم ليس إلى إعادة سرد عامة، بل إلى إجابة دقيقة مدعومة بمستند أو قسم أو صفحة محددة.

لذلك ما يصبح مهماً ليس فقط البحث نفسه، بل القدرة على التحقق من السياق الذي تم العثور عليه قبل استجابة النموذج.

كيفية عمل المكدس

في المخطط الموصوف، تمر المستندات أولاً بالتحليل الهيكلي. يقوم Docling بتحضير المسح الضوئي والتخطيط، بينما يساعد نموذج Qwen2.5-VL متعدد الأنماط في قراءة الجداول المعقدة والملاحظات المكتوبة بخط اليد والصفحات المعترف بها بشكل سيء. ثم يحول نموذج التضمين BAAI/bge-m3 المستندات وسؤال المستخدم إلى تمثيلين في نفس الوقت: كثيف للبحث الدلالي وقليل الكثافة للتطابقات الدقيقة. يخزن Qdrant كلا النوعين من المتجهات ويجمع النتائج من خلال RRF، لذا لا حاجة لموازنة الأوزان يدوياً بين الإستراتيجيتين.

• يقوم Docling بتطبيع الملفات الواردة وتحضير هيكل المستند
• يساعد Qwen2.5-VL في تحليل المسح الضوئي والجداول والعناصر البصرية المعقدة
• يبني BAAI/bge-m3 متجهات كثيفة وقليلة الكثافة للمستندات والاستعلامات
• يقوم Qdrant بإجراء البحث الهجين ودمج النتائج من خلال RRF
• تقوم طبقة إعادة الترتيب بتصفية الأجزاء غير ذات الصلة قبل استجابة النموذج

بعد ذلك، يتم تطبيق إعادة الترتيب على مرحلتين: التصفية السريعة والتحقق الأكثر دقة مع cross-encoder. لا تتلقى استجابة النموذج الأرشيف بأكمله، بل مجموعة صغيرة من الأجزاء التي تجيب فعلاً على السؤال. يقلل هذا المسار من مخاطر الهلوسات ويسمح للنظام بعدم التكهن إذا كانت القاعدة ببساطة لا تحتوي على الحقيقة المطلوبة. هذا هو الفرق بين البحث المدعوم بالمستندات والإعادة السردية الجميلة لكن غير الموثوقة.

لماذا يكون Self-Hosted مهماً

النقطة الرئيسية للمقالة هي أن المشكلة لا يمكن حلها بمجرد توصيل LLM قائم على السحابة. في الصناعات الخاضعة للتنظيم، لا يجب أن تترك البيانات محيط الشركة أثناء الفهرسة أو البحث أو توليد الاستجابة. لذلك يراهن المؤلف على مكدس self-hosted: Qdrant محلي وLangfuse محلي للتتبع و LangGraph لإدارة الحالة الصريحة و Haystack للتحقق من الجودة قبل الإنتاج. وإلا، فإن نظام البحث نفسه يصبح نقطة مخاطرة جديدة للامتثال والتدقيق.

"البيانات غير كافية" أفضل من هلوسة واثقة.

استنتاج عملي منفصل يتعلق بالبنية الأساسية. تأتي الجودة القصوى من Qwen2.5-72B-Instruct، لكنها تتطلب وحدتي معالجة رسومات A100 بحجم 80 جيجابايت. خيار بداية أكثر واقعية للعمل هو Qwen2.5-32B-Instruct على وحدة معالجة رسومات واحدة L40S: وفقاً لتقدير المؤلف، يوفر حوالي 90% من جودة النموذج الأقدم، لكنه يكلف أقل بكثير. هذا يجعل Hybrid RAG ليس لعبة معملية، بل معمارية واضحة للشركات التي تحتاج إلى بحث داخلي مع تكلفة ملكية مفهومة.

ماذا يعني هذا

يصبح Hybrid RAG طريقة عملية لإحياء أرشيفات الشركات دون المساس بالأمان. بالنسبة للعمل، هذا هو المسار من البحث الفوضوي في البريد الإلكتروني وSharePoint إلى نظام يجد المستند المطلوب في ثوان، ويعرض مصدر الإجابة، ولا يرسل البيانات الداخلية إلى واجهة برمجية تطبيقية خارجية.