ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارQdrant Blog→ المصدر

متجه واحد لكل مستند بطول 32K رمز يعثر على التفصيلة في 30% من الحالات، أما المقاطع فتصل إلى 56%

التقطيع (chunking) هو تقسيم المستند إلى أجزاء، وقد وعد نموذج UltraBERT بنافذة سياق تبلغ 32 ألف رمز بإلغائه: فالنص كله يُحفظ في متجه واحد. اختبرت Qdrant ذلك على مقالات أُدرجت فيها جملة دخيلة واحدة. عند طول 32K رمز، عثر المتجه الكامل على المقال المطلوب في 30% من الحالات، بينما عثرت المقاطع بطول 512 رمزًا عليه في 56%. وعند طول 256 رمزًا، نجح المتجه نفسه في 84% من الحالات. وفي البحث عن التفاصيل، تبقى المقاطع هي الأساس حتى الآن.

معالج بواسطة الذكاء الاصطناعي من Qdrant Blog؛ بتحرير Hamidun News
متجه واحد لكل مستند بطول 32K رمز يعثر على التفصيلة في 30% من الحالات، أما المقاطع فتصل إلى 56%
المصدر: Qdrant Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليQdrant Blog ↗
رئيس التحرير
مهمة كلمة المرور المخفيةخمّن المتجه الكامل المستند الصحيح في 99% من الحالات
ضغط بمقدار 30 مرة200 ألف مقال تشغل نحو 140 ميغابايت
حقيقة رئيسية #3حساب المستندات كاملة على NVIDIA L4 يستغرق وقتًا أطول بنحو 3 مرات من حساب المقاطع

كل من بنى نظام بحث في المستندات أو RAG اصطدم بسؤال واحد: إلى أي أجزاء يُقسَّم النص. إذا كان الجزء صغيرًا جدًا فقد سياقه. وإذا كان كبيرًا جدًا، اقتطعه نموذج التضمين (embedding). وعد نموذج UltraBERT من DMIS Lab بحل المشكلة: فهو يقبل ما يصل إلى 32 ألف رمز ويُخرج متجهًا واحدًا بـ768 بُعدًا للمستند كله. وفي هذا العالم يبدو أن تقطيع النص إلى مقاطع (أجزاء ثابتة الطول، مثل 512 رمزًا) لم يعد ضروريًا. اختبرت فريق Qdrant ذلك عمليًا. والجواب المختصر: ما زال ضروريًا.

ما الذي قورن بالضبط

UltraBERT نموذج تضمين كثيف بـ151 مليون معامل. بُني على مُشفِّر (encoder) إنجليزي دُرِّب على مدخلات بطول 32K رمز، ولذلك تمر معظم المستندات في تمريرة واحدة.

قارنت Qdrant أربعة خيارات: متجه واحد للمستند كله، ومقاطع بطول 512 رمزًا، والنهجان معًا، وكل ذلك في صورة مضغوطة. المستندات في الاختبارات طويلة، بمتوسط يتراوح بين 7 600 و13 800 رمز. وتنوعت المهام: العثور على نص حلقة من خلال ملخصها، والإجابة عن سؤال يتطلب عدة مقالات من ويكيبيديا في آن واحد، والعثور على المقطع المطلوب من اجتماع. وأُضيف اختباران اصطناعيان: في الأول أُخفيت كلمة مرور داخل النص، وفي الثاني أُدرجت جملة دخيلة واحدة في مقال، وعلى النظام العثور على المقال انطلاقًا من سؤال عنها. وللتحقق على نطاق واسع، أُخذ 200 000 مقال إنجليزي من ويكيبيديا و800 سؤال، يخص كل منها مقالًا واحدًا.

المقاطع ما زالت تعثر على التفاصيل

المتجه الكامل يقرأ فعلًا كل الـ32K رمز. ففي مهمة كلمة المرور وضع المستند المطلوب في المرتبة الأولى في 99% من الحالات عبر جميع الأطوال، ولم يخطئ ولو مرة عند طول 32K رمز. لكن في معظم المهام الأخرى كانت المقاطع أدق.

تفوقت المقاطع حيث تتوزع الإجابة على عدة فقرات: في 2WikiMultihopQA وQMSum وMLDR. أما المتجه الكامل فلم يفز إلا في SummScreenFD، حيث يصف الاستعلام الحلقة بأكملها.

ويوضح السبب اختبار الجملة الدخيلة. تخيل مقالًا طويلًا أُدرجت فيه عبارة واحدة لا صلة لها بالموضوع. المتجه الواحد لا يستطيع الاحتفاظ بكل تفصيلة من هذا النوع. عند طول 256 رمزًا عثر المتجه الكامل على المقال المطلوب في 84% من الحالات، وعند 32K رمز في 30% فقط. أما المقاطع بطول 512 رمزًا فحققت على الطول نفسه 56%.

النهج الهجين، الذي يبحث في المتجه الكامل وفي المقاطع معًا ثم تُدمج النتائج، لم يفد إلا قليلًا. ففي SummScreenFD وNeedle بلغ المكسب حتى 0,02 و0,03 على مقياس الجودة، أي 2–3 نقاط من 100. أما في 2WikiMultihopQA وQMSum وMLDR فجاء النهج الهجين أسوأ من المقاطع وحدها، وكان الفارق الأكبر في MLDR.

كلفة المقاطع وكيفية ضغطها

الحجة الرئيسية ضد المقاطع هي عدد المتجهات. تنقسم مقالات MLDR في المتوسط إلى 7 مقاطع، وبلغ المجموع 1,43 مليون متجه. وبصيغة float32 يعادل ذلك نحو 4 غيغابايت.

يضغط التكميم (quantization) كل متجه من 3 072 بايت إلى 104، أي بمقدار 30 مرة. وتشغل المقالات الـ200 000 كلها نحو 140 ميغابايت من الذاكرة العشوائية. خُزِّن كل مقطع كنقطة منفصلة في Qdrant، وأعاد الاستعلام المجمَّع كل مقال مرة واحدة.

بالمقارنة بالبحث الدقيق، حافظت المتجهات المضغوطة على 95% من الجودة، ومع إعادة التقييم (rescoring) بالمتجهات الأصلية على 98%. أما المتجهات غير المضغوطة في الفهرس نفسه فحققت 99%. ولإعادة التقييم ثمن: ففي الاختبار كانت المتجهات الأصلية مخزنة على القرص، وأضافت قراءتها من 4 إلى 11 مللي ثانية لكل استعلام. وما دامت ذاكرة التخزين المؤقت للقرص باردة، تجاوز زمن الاستجابة 100 مللي ثانية.

المتجه الكامل يُضغط بشكل أسوأ من المقاطع. ففي MLDR حافظ عند بت واحد على 89% من الجودة. وعند بتين تساوت النتيجة مع المتجه غير المضغوط في الفهرس نفسه. لذلك يُستحسن البدء ببتين أو الإبقاء على إعادة التقييم.

ما العمل عمليًا

كذلك تكلّف المستندات الكاملة أكثر في الحساب. فقد استغرق تضمين نصوص SummScreenFD كاملة وقتًا أطول بنحو 3 مرات من تضمين مقاطع بطول 512 رمزًا، على NVIDIA L4.

توصيات Qdrant:

  • للبحث عن التفاصيل، ابدأ بمقاطع بطول 512 رمزًا.
  • للأسئلة عن حقائق منفردة، جرّب 256.
  • يجعل الضغط المتجهات الإضافية أيسر كلفة، لكن تحقق من الجودة وزمن إعادة التقييم على استعلاماتك أنت.

ولـUltraBERT استخدام آخر. يمكن البحث أولًا في المستندات الكاملة لتحديد الموضوع، ثم البحث عن الإجابة داخل مقاطع المستندات التي عُثر عليها. ويرى المؤلفون أن هذا المخطط ذا المرحلتين يستحق التجربة، خصوصًا أن الدمج البسيط بين عمليتي البحث لم يساعد بشكل مطّرد.

قيد الدراسة: الاختبارات أُجريت بالإنجليزية وعلى معايير قياس محددة، وقد تختلف الأرقام على مجموعة بياناتك. لكن الاستنتاج واضح: نافذة الـ32K رمز تمنح حرية أكبر في اختيار ما يمثله المتجه الواحد، لكنها لا تلغي تقطيع النص.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما الذي قورن بالضبط؟

UltraBERT نموذج تضمين كثيف بـ151 مليون معامل. بُني على مُشفِّر (encoder) إنجليزي دُرِّب على مدخلات بطول 32K رمز، ولذلك تمر معظم المستندات في تمريرة واحدة. قارنت Qdrant أربعة خيارات: متجه واحد للمستند كله، ومقاطع بطول 512 رمزًا، والنهجان معًا، وكل ذلك في صورة مضغوطة. المستندات في الاختبارات طويلة، بمتوسط يتراوح بين 7 600 و13 800 رمز. وتنوعت المهام: العثور على نص حلقة من خلال ملخصها، والإجابة عن سؤال يتطلب عدة مقالات من ويكيبيديا في آن واحد، والعثور على المقطع المطلوب من اجتماع.

ما أبرز التفاصيل حول المقاطع ما زالت تعثر على التفاصيل؟

المتجه الكامل يقرأ فعلًا كل الـ32K رمز. ففي مهمة كلمة المرور وضع المستند المطلوب في المرتبة الأولى في 99% من الحالات عبر جميع الأطوال، ولم يخطئ ولو مرة عند طول 32K رمز. لكن في معظم المهام الأخرى كانت المقاطع أدق. تفوقت المقاطع حيث تتوزع الإجابة على عدة فقرات: في 2WikiMultihopQA وQMSum وMLDR. أما المتجه الكامل فلم يفز إلا في SummScreenFD، حيث يصف الاستعلام الحلقة بأكملها. ويوضح السبب اختبار الجملة الدخيلة. تخيل مقالًا طويلًا أُدرجت فيه عبارة واحدة لا صلة لها بالموضوع.

ما أبرز التفاصيل حول كلفة المقاطع وكيفية ضغطها؟

الحجة الرئيسية ضد المقاطع هي عدد المتجهات. تنقسم مقالات MLDR في المتوسط إلى 7 مقاطع، وبلغ المجموع 1,43 مليون متجه. وبصيغة float32 يعادل ذلك نحو 4 غيغابايت. يضغط التكميم (quantization) كل متجه من 3 072 بايت إلى 104، أي بمقدار 30 مرة. وتشغل المقالات الـ200 000 كلها نحو 140 ميغابايت من الذاكرة العشوائية. خُزِّن كل مقطع كنقطة منفصلة في Qdrant، وأعاد الاستعلام المجمَّع كل مقال مرة واحدة. بالمقارنة بالبحث الدقيق، حافظت المتجهات المضغوطة على 95% من الجودة، ومع إعادة التقييم (rescoring) بالمتجهات الأصلية على 98%.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…