تبدأ 23 نوفمبرالدفعة المباشرة 3 من Vibe Coding ووكلاء الذكاء الاصطناعي: 3 أسابيع و9 جلسات حيةالدفعة 3 (23.11) →
إصدارتحليل · على الرادارHabr AI→ المصدر

قاعدة معرفة على RAG: 100 غيغابايت من الملفات تنتج 1.5 مليون مقطع و9 ساعات تحميل

تخيّل شركة لديها 100 غيغابايت من اللوائح والعقود والتعليمات، وتريد تحميلها في قاعدة معرفة مؤسسية بالذكاء الاصطناعي (بنمط RAG: بحث عن مقاطع من المستندات ثم نموذج لغوي يصوغ الإجابة). ستتحول هذه الملفات إلى نحو 1.5 مليون مقطع نصي، وستستغرق معالجتها على بطاقة رسوميات واحدة نحو 9 ساعات. أما 10 تيرابايت فتحتاج إلى 38 يومًا. لذلك تُحسب متطلبات العتاد بعدد المقاطع لا بعدد الغيغابايت، ويبدأ العمل بتنظيف البيانات لا باختيار النموذج.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
قاعدة معرفة على RAG: 100 غيغابايت من الملفات تنتج 1.5 مليون مقطع و9 ساعات تحميل
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
لكل 1 تيرابايت من الملفات15 مليون مقطع ونحو 4 أيام تحميل
ضغط المتجهات إلى int8 و1024 رقمًالكل 10 تيرابايت من الملفات 230 غيغابايت بدلًا من 2.3 تيرابايت
حقيقة رئيسية #3لا يستطيع pgvector بناء فهرس لمتجه من 2560 رقمًا كالذي ينتجه Qwen3-Embedding-4B

تريد الشركة أن يطرح الموظفون أسئلة عن المستندات الداخلية بكلماتهم العادية، وأن يحصلوا على إجابة مرفقة برابط المصدر. لهذا تُبنى قاعدة معرفة على نمط RAG: يبحث النظام عن المقاطع المناسبة من المستندات ويمررها إلى نموذج لغوي يكتب الإجابة. السؤال الرئيسي أمام المعماري هو: كم ستكلّف هذه المنظومة من العتاد؟ والجواب غير متوقع: حجم البيئة لا يحدده النموذج، بل عدد المقاطع التي تُقطَّع إليها المستندات.

في المثال الذي يعرضه مؤلفو الدليل، تتحول 100 غيغابايت من الملفات إلى 1.5 مليون مقطع (قطع نصية بنحو 500 رمز لكل منها)، ويستغرق تحميلها على بطاقة رسوميات واحدة (GPU) نحو 9 ساعات. أما 10 تيرابايت فتعني 150 مليون مقطع و38 يومًا.

أصدر الدليل فريق ITGLOBAL.COM. وهو مادة صادرة عن مزوّد تجاري، وقد أُجريت القياسات على بنيته التحتية، لكنه يصلح قائمة تحقق مفيدة لكل من يبني نظامًا كهذا.

سبع حلقات في السلسلة وأين تنكسر

النموذج اللغوي لا يعرف مستنداتك، وإعادة تدريبه بعد كل تعديل في اللائحة مكلفة. لذلك لا يُدرَّب النموذج، بل تُعرض عليه المقاطع التي عُثر عليها عند كل سؤال. وإذا تحدّث المستند تتحدّث الإجابة. مثلًا، يسأل موظف «كيف أطلب إجازة على نفقتي الخاصة»، بينما تنص اللائحة على «إجازة دون الاحتفاظ بالأجر». البحث بالكلمات سيخطئ الهدف، أما البحث بالمعنى فسيجد الفقرة المطلوبة.

تتكون السلسلة من سبع حلقات، وتحدد أضعفها جودة الإجابة. وغالبًا ما تكون هذه الحلقة هي البحث لا النموذج.

  1. تحليل المستندات (Docling وApache Tika وUnstructured وOCR للمسوحات الضوئية). تتبعثر الجداول، وتُقرأ المسوحات الروسية بحروف لاتينية، وتدخل الترويسات والتذييلات في كل مقطع.
  2. التقطيع إلى مقاطع. يجري التقطيع حسب العناوين والفقرات مع تداخل صغير، ويُضاف اسم المستند. ومن دونه يبدو «جدول التعويضات» الوارد في اتفاقيتي SLA مختلفتين متطابقًا.
  3. نموذج التضمين (Embedder) (Qwen3-Embedding وBGE-M3 وmultilingual-e5 وGigaEmbeddings وGemini Embedding). كثيرًا ما يُختار بحسب التصنيف العالمي دون اختباره على المستندات الروسية الخاصة بالشركة.
  4. قاعدة المتجهات (pgvector وQdrant وMilvus وWeaviate وOpenSearch). من الأخطاء الشائعة: غياب فلتر صلاحيات الوصول، وعدم حساب الذاكرة اللازمة للفهرس.
  5. البحث بالكلمات (BM25 والبحث النصي الكامل في PostgreSQL). يلزم هذا البحث لأرقام العقود ورموز الأخطاء. ولا يجوز جمع درجات البحث بالكلمات والبحث بالمعنى دون توحيدها على مقياس واحد، وإلا طغى أحدهما على الآخر.
  6. معيد الترتيب (Reranker) (Qwen3-Reranker وbge-reranker وVoyage rerank وCohere Rerank). يأخذ 20–50 مقطعًا عُثر عليها ويرتّبها بدقة أكبر. وإذا استُدعي دون قالب الاستعلام المطلوب، يصبح الترتيب شبه عشوائي.
  7. النموذج اللغوي للإجابة (Qwen وGigaChat وYandexGPT ونماذج أجنبية). يجب أن يُمنع صراحةً من الإجابة «من رأسه» حين لا يوجد المقطع المطلوب.

ويلزم فوق ذلك نظام صلاحيات وصول، ومجموعة أسئلة اختبار معروفة الإجابات. لا تحتاج إلى GPU سوى أربعة مكونات: تحليل المسوحات الضوئية، ونموذج التضمين، ومعيد الترتيب، والنموذج اللغوي. أما الباقي فيعمل على خوادم عادية.

أي قاعدة متجهات نختار

  • pgvector — إذا كان PostgreSQL موجودًا بالفعل وعدد المقاطع لا يتجاوز عشرات الملايين. تُفحص الصلاحيات بـ SQL عادي، لكن الفهرس يُبنى للمتجهات حتى 2000 رقم فقط، ويعمل فلتر الصلاحيات بعد البحث.
  • Qdrant — قاعدة مستقلة لما بين ملايين ومئات ملايين المقاطع. يعمل فلتر الصلاحيات أثناء البحث نفسه، وتُضغط المتجهات بمعامل 4–32 مرة.
  • Milvus — لمئات الملايين ومليارات المقاطع، لكنه يتطلب فريق تشغيل: Kubernetes وetcd ومخزن كائنات.
  • Weaviate — حين تلزم خاصية البحث المختلط جاهزةً من الصندوق. الضغط معطّل افتراضيًا، والدعم الصرفي للغة الروسية غير معلن.
  • OpenSearch — إذا كان البحث النصي الكامل مبنيًا عليه أصلًا. وهو ثقيل إذا استُخدم للبحث المتجهي وحده.

معيار المؤلفين: حتى 10 ملايين مقطع تكفي أي من القواعد الخمس، ومن 10 إلى 200 مليون يُستخدم Qdrant أو OpenSearch مع الضغط، وما بعد ذلك Milvus أو عنقود Qdrant.

هناك فخّان. الأول: متجه Qwen3-Embedding-4B المكوَّن من 2560 رقمًا يخزّنه pgvector لكنه لا يفهرسه. والحل هو الدقة النصفية أو متجه مختصر، مثل 1024. الثاني: إذا كان الموظف يملك صلاحية الوصول إلى جزء صغير من القاعدة فقط، وكان فلتر الصلاحيات يعمل بعد البحث، فسيحصل على إجابة فارغة. لذلك يُصمَّم مخطط الصلاحيات مع اختيار القاعدة.

نحسب البيئة ونفحص البيانات

في مثال المؤلفين يشكّل النص 5% من حجم الملفات، والمكرر 30%، والمقطع 500 رمز مع تداخل 15%. والنتيجة: 100 غيغابايت من الملفات تعطي 1.5 مليون مقطع، و23 غيغابايت من الذاكرة للمتجهات المكوَّنة من 2560 رقمًا، ونحو 9 ساعات تحميل بسرعة نموذج تضمين تبلغ 20–22 ألف رمز في الثانية. أما 1 تيرابايت فتعني 15 مليون مقطع و4 أيام، و10 تيرابايت تعني 150 مليونًا و38 يومًا. ويخفض ضغط المتجهات إلى int8 مع اختصارها إلى 1024 رقمًا الذاكرة 10 مرات: ففي حالة 10 تيرابايت يصبح الحجم 230 غيغابايت بدلًا من 2.3 تيرابايت. هذه المعاملات تقريبية، أما النسب الفعلية للنص والمكرر فتُقاس على عيّنة من 1–2% من الملفات.

لا يكاد حجم القاعدة يؤثر في زمن الإجابات. فمتجه السؤال يُحسب في 0.19 ثانية، وإعادة ترتيب 20 مقطعًا تستغرق 0.68 ثانية، ويذهب معظم الوقت إلى النموذج اللغوي. وللنماذج بحجم 26–27 مليار معامل تكفي بطاقة واحدة بسعة 80–96 غيغابايت، بينما نادرًا ما تكون ثمانية H200 لتشغيل GLM-5 مبرَّرة لقاعدة معرفة.

التوصية الرئيسية هي البدء بالبيانات. تذكر Gartner أن 63% من المؤسسات غير واثقة من ممارساتها في إدارة البيانات. وقبل كتابة الشيفرة ينبغي إعداد قائمة بالمصادر وأصحابها، وتقدير نسبة المكرر (بحسب تقديرات الممارسين، نحو 30% نسخ قديمة و20% مستندات مكررة)، وفحص جودة المسوحات الضوئية (ما دون 300 dpi ستظهر فيه أخطاء)، وحسم مسائل الصلاحيات وقانون 152-FZ، وجمع 30 سؤالًا حقيقيًا على الأقل، والأفضل 100–200 سؤال، مع إجابات مرجعية. نصف عدد الملفات المتصلة يعني نصف كل شيء في الحساب.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول سبع حلقات في السلسلة وأين تنكسر؟

النموذج اللغوي لا يعرف مستنداتك، وإعادة تدريبه بعد كل تعديل في اللائحة مكلفة. لذلك لا يُدرَّب النموذج، بل تُعرض عليه المقاطع التي عُثر عليها عند كل سؤال. وإذا تحدّث المستند تتحدّث الإجابة. مثلًا، يسأل موظف «كيف أطلب إجازة على نفقتي الخاصة»، بينما تنص اللائحة على «إجازة دون الاحتفاظ بالأجر». البحث بالكلمات سيخطئ الهدف، أما البحث بالمعنى فسيجد الفقرة المطلوبة. تتكون السلسلة من سبع حلقات، وتحدد أضعفها جودة الإجابة. وغالبًا ما تكون هذه الحلقة هي البحث لا النموذج.

ما أبرز التفاصيل حول أي قاعدة متجهات نختار؟

pgvector — إذا كان PostgreSQL موجودًا بالفعل وعدد المقاطع لا يتجاوز عشرات الملايين. تُفحص الصلاحيات بـ SQL عادي، لكن الفهرس يُبنى للمتجهات حتى 2000 رقم فقط، ويعمل فلتر الصلاحيات بعد البحث. Qdrant — قاعدة مستقلة لما بين ملايين ومئات ملايين المقاطع. يعمل فلتر الصلاحيات أثناء البحث نفسه، وتُضغط المتجهات بمعامل 4–32 مرة. Milvus — لمئات الملايين ومليارات المقاطع، لكنه يتطلب فريق تشغيل: Kubernetes وetcd ومخزن كائنات. Weaviate — حين تلزم خاصية البحث المختلط جاهزةً من الصندوق.

ما أبرز التفاصيل حول نحسب البيئة ونفحص البيانات؟

في مثال المؤلفين يشكّل النص 5% من حجم الملفات، والمكرر 30%، والمقطع 500 رمز مع تداخل 15%. والنتيجة: 100 غيغابايت من الملفات تعطي 1.5 مليون مقطع، و23 غيغابايت من الذاكرة للمتجهات المكوَّنة من 2560 رقمًا، ونحو 9 ساعات تحميل بسرعة نموذج تضمين تبلغ 20–22 ألف رمز في الثانية. أما 1 تيرابايت فتعني 15 مليون مقطع و4 أيام، و10 تيرابايت تعني 150 مليونًا و38 يومًا. ويخفض ضغط المتجهات إلى int8 مع اختصارها إلى 1024 رقمًا الذاكرة 10 مرات: ففي حالة 10 تيرابايت يصبح الحجم 230 غيغابايت بدلًا من 2.3 تيرابايت.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…