تبدأ 23 نوفمبرالدفعة المباشرة 3 من Vibe Coding ووكلاء الذكاء الاصطناعي: 3 أسابيع و9 جلسات حيةالدفعة 3 (23.11) →
إصدارتحليل · على الرادارHabr AI→ المصدر

Qdrant وHybrid RAG: البحث في وثائق الشركات دون سحابة ودون تسريبات

يتجاوز Hybrid RAG حدود إدارة الوثائق التقليدية: فالنظام يبحث بالمعنى وبالتطابق الحرفي في آن واحد، ثم يتحقق من صلة المقاطع التي عثر عليها قبل أن يقدّم الإجابة. وتقوم هذه المقاربة على حزمة محلية تضم Qdrant وQwen2.5 وLangGraph وHaystack، تساعد المصارف وشركات الخدمات اللوجستية ومكاتب المحاماة على التعامل مع الأرشيفات بسرعة أكبر ودون نقل البيانات إلى السحابة.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
Qdrant وHybrid RAG: البحث في وثائق الشركات دون سحابة ودون تسريبات
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1يوحّد Docling صيغ الملفات الواردة ويجهّز بنية الوثيقة
حقيقة رئيسية #2يساعد Qwen2.5-VL في تحليل المستندات الممسوحة والجداول والعناصر البصرية المعقدة
حقيقة رئيسية #3يبني BAAI/bge-m3 متجهات dense وsparse للوثائق والاستعلامات

لا تكمن مشكلة البحث في وثائق الشركات في نقص البيانات، بل في تشتتها بين ملفات PDF والمستندات الممسوحة ضوئيًا والجداول والمراسلات. ويقترح Hybrid RAG بنية تتيح البحث عن الإجابات في الأرشيفات الداخلية محليًا، دون نقل المعلومات الحساسة إلى السحابة.

أين يتعثر البحث

يعمل RAG التقليدي جيدًا على قاعدة بيانات مرتبة ومتجانسة، مثل قائمة أسئلة شائعة أو لائحة واحدة أو مجموعة من المستندات النصية النظيفة. لكن الوثائق في الأعمال الفعلية تتوزع على صيغ متعددة وبلغتين، وكثيرًا ما تحتوي إضافة إلى النص على جداول ورموز وأرقام مرجعية وصفحات ممسوحة ضوئيًا. وفي بيئة كهذه لا يكفي البحث الدلالي وحده: فالاستعلام عن مطالبات ضد طرف متعاقد أو عن الرمز 8471300000 يتطلب فهم معنى السؤال والعثور في الوقت نفسه على أرقام وصياغات محددة بدقة.

وهنا يختلف Hybrid RAG عن المقاربة التقليدية. فالنظام لا يكتفي بـ«تغذية» النموذج اللغوي بالأرشيف، بل يجمع أولًا سياقًا ذا صلة عبر عدة أنواع من البحث. ويكتسب هذا أهمية خاصة في الخدمات اللوجستية والمصارف والجمارك ومكاتب المحاماة، حيث لا يحتاج المستخدم إلى ملخص عام، بل إلى إجابة دقيقة تستند إلى وثيقة أو بند أو صفحة محددة. ولهذا لا يقتصر الأمر على البحث نفسه، بل يشمل أيضًا آلية التحقق من السياق الذي عُثر عليه قبل أن يجيب النموذج.

كيف تُبنى الحزمة

في البنية الموصوفة، تخضع الوثائق أولًا لتحليل بنيوي. إذ يجهّز Docling المستندات الممسوحة وتخطيط الصفحات، بينما يساعد النموذج متعدد الوسائط Qwen2.5-VL في قراءة الجداول المعقدة والملاحظات المكتوبة بخط اليد والصفحات سيئة التعرّف. بعد ذلك يحوّل نموذج التضمين BAAI/bge-m3 الوثائق وسؤال المستخدم إلى تمثيلين في آن واحد: dense للبحث بالمعنى وsparse للتطابقات الدقيقة. ويخزّن Qdrant النوعين من المتجهات ويدمج النتائج عبر RRF، فلا حاجة إلى موازنة الأوزان بين الاستراتيجيتين يدويًا.

  • يوحّد Docling صيغ الملفات الواردة ويجهّز بنية الوثيقة
  • يساعد Qwen2.5-VL في تحليل المستندات الممسوحة والجداول والعناصر البصرية المعقدة
  • يبني BAAI/bge-m3 متجهات dense وsparse للوثائق والاستعلامات
  • ينفّذ Qdrant البحث الهجين ويدمج النتائج عبر RRF
  • تستبعد طبقة Rerank المقاطع غير ذات الصلة قبل أن يجيب النموذج

بعد ذلك تبدأ مرحلة إعادة الترتيب (rerank) على خطوتين: غربلة سريعة ثم تحقق أدق عبر cross-encoder. ولا يصل إلى مرحلة توليد الإجابة الأرشيف كاملًا، بل مجموعة صغيرة من المقاطع التي تجيب فعلًا عن السؤال. ويقلّل هذا المسار من خطر الهلوسة، ويمنع النظام من الاختلاق إذا لم يكن الجواب موجودًا أصلًا في القاعدة. وهذا هو الفرق بين بحث يستند إلى الوثائق وإعادة صياغة جميلة لكنها غير موثوقة.

لماذا تهمّ الاستضافة الذاتية

الفكرة المحورية في المقال أن المشكلة لا تُحل بمجرد ربط نموذج LLM سحابي. ففي القطاعات الخاضعة للتنظيم يجب ألا تغادر البيانات محيط الشركة، لا أثناء الفهرسة ولا أثناء البحث ولا عند توليد الإجابة. لذلك يراهن المؤلف على حزمة مستضافة ذاتيًا: Qdrant محلي، وLangfuse محلي للتتبّع، وLangGraph للإدارة الصريحة للحالات، وHaystack للتحقق من الجودة قبل الانتقال إلى بيئة الإنتاج. وإلا تحوّل نظام البحث نفسه إلى نقطة خطر جديدة في الامتثال والتدقيق.

«البيانات غير كافية» أفضل من هلوسة واثقة.

ويتعلق استنتاج عملي آخر بالبنية التحتية. فأعلى جودة يقدّمها Qwen2.5-72B-Instruct، لكنه يحتاج إلى معالجَي A100 80GB. أما الخيار الأكثر واقعية للبدء في الأعمال فهو Qwen2.5-32B-Instruct على معالج L40S واحد: فبحسب تقدير المؤلف، يحقق نحو 90% من جودة النموذج الأكبر، لكن بتكلفة أقل بكثير. وهذا يجعل Hybrid RAG بنية واضحة للشركات التي تحتاج إلى بحث داخلي بتكلفة ملكية مفهومة، لا مجرد تجربة مخبرية.

ماذا يعني ذلك

يصبح Hybrid RAG طريقة عملية لبثّ الحياة في أرشيفات الشركات دون تنازل عن الأمان. وهو بالنسبة إلى الأعمال انتقال من بحث فوضوي في البريد الإلكتروني وSharePoint إلى نظام يعثر في ثوانٍ على الوثيقة المطلوبة، ويُظهر مصدر الإجابة، ولا يرسل البيانات الداخلية إلى API خارجي.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول أين يتعثر البحث؟

يعمل RAG التقليدي جيدًا على قاعدة بيانات مرتبة ومتجانسة، مثل قائمة أسئلة شائعة أو لائحة واحدة أو مجموعة من المستندات النصية النظيفة. لكن الوثائق في الأعمال الفعلية تتوزع على صيغ متعددة وبلغتين، وكثيرًا ما تحتوي إضافة إلى النص على جداول ورموز وأرقام مرجعية وصفحات ممسوحة ضوئيًا. وفي بيئة كهذه لا يكفي البحث الدلالي وحده: فالاستعلام عن مطالبات ضد طرف متعاقد أو عن الرمز 8471300000 يتطلب فهم معنى السؤال والعثور في الوقت نفسه على أرقام وصياغات محددة بدقة. وهنا يختلف Hybrid RAG عن المقاربة التقليدية.

ما أبرز التفاصيل حول كيف تُبنى الحزمة؟

في البنية الموصوفة، تخضع الوثائق أولًا لتحليل بنيوي. إذ يجهّز Docling المستندات الممسوحة وتخطيط الصفحات، بينما يساعد النموذج متعدد الوسائط Qwen2.5-VL في قراءة الجداول المعقدة والملاحظات المكتوبة بخط اليد والصفحات سيئة التعرّف. بعد ذلك يحوّل نموذج التضمين BAAI/bge-m3 الوثائق وسؤال المستخدم إلى تمثيلين في آن واحد: dense للبحث بالمعنى وsparse للتطابقات الدقيقة. ويخزّن Qdrant النوعين من المتجهات ويدمج النتائج عبر RRF، فلا حاجة إلى موازنة الأوزان بين الاستراتيجيتين يدويًا.

ما أبرز التفاصيل حول لماذا تهمّ الاستضافة الذاتية؟

الفكرة المحورية في المقال أن المشكلة لا تُحل بمجرد ربط نموذج LLM سحابي. ففي القطاعات الخاضعة للتنظيم يجب ألا تغادر البيانات محيط الشركة، لا أثناء الفهرسة ولا أثناء البحث ولا عند توليد الإجابة. لذلك يراهن المؤلف على حزمة مستضافة ذاتيًا: Qdrant محلي، وLangfuse محلي للتتبّع، وLangGraph للإدارة الصريحة للحالات، وHaystack للتحقق من الجودة قبل الانتقال إلى بيئة الإنتاج. وإلا تحوّل نظام البحث نفسه إلى نقطة خطر جديدة في الامتثال والتدقيق. «البيانات غير كافية» أفضل من هلوسة واثقة. ويتعلق استنتاج عملي آخر بالبنية التحتية.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…