Qdrant تضغط صفحة PDF إلى 64 بايت في الذاكرة وتحافظ على 99.2% من جودة البحث
يجري البحث في ملفات PDF التي تحتوي على جداول ورسوم بيانية عادةً إما عبر OCR، الذي يفقد الروابط بين عناصر الصفحة، وإما عبر ColPali الذي يستخدم نحو ألف متجه للصفحة الواحدة. أظهرت Qdrant أن Cohere Embed 5 Pro يكفيه متجه واحد لكل صورة: يبقى في الذاكرة 64 بايت بدل 8 كيلوبايت، ثم يُعاد فحص أفضل 20 صفحة بالمتجهات الكاملة المخزَّنة على القرص. وتبلغ جودة البحث في هذه الحالة 99.2% من الجودة الكاملة. وبالنسبة إلى أرشيفات PDF الكبيرة، هذه طريقة للاستغناء عن OCR دون تضخيم استهلاك الذاكرة العشوائية (RAM).
معالج بواسطة الذكاء الاصطناعي من Qdrant Blog؛ بتحرير Hamidun News
تخيّل أرشيفًا من 10 ملايين صفحة PDF يضم تقارير وكتيبات إرشادية وجداول، ويُراد البحث فيه عن إجابات لأسئلة محددة. إذا خُزّنت الصفحات على شكل متجهات (مجموعات من الأرقام تقارن بها قاعدة البيانات المعنى)، تصبح الذاكرة المخصصة للبحث بسرعة أكبر بنود الإنفاق. وقد نشر فريق Qdrant وصفة لتخزين الصفحة في 64 بايت من الذاكرة العشوائية بدل 8 كيلوبايت، مع الحفاظ على 99.2% من جودة البحث التي يحققها المتجه الكامل. هنا تمثّل نسبة 100% متوسط درجة nDCG@10 البالغ 65.85. يوضح هذا المقياس مدى ارتفاع الصفحات المطلوبة في ترتيب النتائج. وللمقارنة: يشغل متجه من 2048 رقمًا بصيغة float32 مساحة 8 كيلوبايت، بينما يشغل المتجه نفسه بعد ضغطه 64 بايت، أي أقل بـ 128 مرة.
لماذا متجه واحد لكل صفحة؟
غالبًا ما تكون الإجابات في ملفات PDF مخبّأة داخل الرسوم البيانية والجداول والمخططات. الطريق التقليدي هو OCR، أي تحويل الصورة إلى نص. وقد يفقد هذا الأسلوب الروابط بين الكلمات، مثل تحديد أي رقم ينتمي إلى أي عمود في الجدول.
وللبحث دون OCR، توصي Qdrant عادةً بنماذج التفاعل المتأخر مثل ColPali وColQwen. تخزّن هذه النماذج متجهًا مستقلًا لكل جزء صغير من الصورة، وتُقارَن كل كلمة في الاستعلام بأنسب جزء. هذا الأسلوب دقيق، لكنه يتطلب نحو ألف متجه للصفحة الواحدة. كما أن مقياس التشابه الخاص MaxSim لا يعمل جيدًا مع فهرس HNSW المعتاد، ولذلك تُضطر الأنظمة التي تضم مليارات النقاط إلى اللجوء إلى حلول التفافية مثل MUVERA.
الوضع المثالي هو متجه عادي واحد لكل صفحة. لم يتوقع المهندسون أن يصمد هذا النهج أمام المنافسة، لكنهم اختبروه بدافع الفضول على نماذج Cohere Embed 5. تضم العائلة نموذجين: Pro عالي الجودة وFast خفيف. يقبل النموذجان النصوص والصور، ويدعمان أكثر من 100 لغة، ويستخدمان فضاء متجهات مشتركًا. وقد اختبرت Cohere نفسها النموذجين على معيار ViDoRe V3 اعتمادًا على النص المستخرج، أما Qdrant فقد زوّدت Embed 5 Pro بصور الصفحات مباشرةً.
أُجري الاختبار على خمس مجموعات بيانات إنجليزية من ViDoRe V3: كتب مدرسية في علوم الحاسوب، وتقارير مالية، ووثائق من الاتحاد الأوروبي عن سوق العمل، وتعليمات فنية للقوات الجوية الأمريكية، ووثائق إدارة الغذاء والدواء الأمريكية (FDA). بلغ المجموع 12 969 صفحة و1 489 سؤالًا. وتفوّق Embed 5 Pro بمتجه واحد لكل صفحة على عدة نماذج من نماذج التفاعل المتأخر.
كيف وصلت الصفحة إلى 64 بايت
تجمع الوصفة بين ثلاث تقنيات:
- تمثيل ماتريوشكا (MRL). تحمل الأرقام الأولى N من المتجه المعنى الأساسي، ولذلك يمكن الإبقاء على أول 512 رقمًا من أصل 2048.
- التكميم الثنائي. يبقى لكل رقم بت واحد فقط: هل قيمته أكبر من الصفر أم لا. وتعني 512 بتًا 64 بايت للصفحة.
- التكميم غير المتماثل. تُخزَّن الصفحات بصيغة بت واحد، بينما يبقى الاستعلام بصيغة 8 بتات. فإذا ضُغطت الصفحة والاستعلام معًا إلى إشارات فقط، يصوّت كل بُعد بالوزن نفسه حتى لو كانت قيمته أعلى من الصفر بقليل. أما مع استعلام دقيق، فتكتسب الأبعاد القوية وزنًا أكبر.
وكلما قصر المتجه المخزَّن، ازدادت فائدة الاستعلام الدقيق. وبعد البحث الأولي التقريبي، يُعاد فحص أفضل 20 مرشحًا بالمتجهات الكاملة المخزَّنة على القرص، بينما لا يبقى في RAM سوى النسخ المضغوطة. والنتيجة: 99.2% من جودة المتجه الكامل مع ذاكرة أقل بـ 128 مرة.
وفي تقدير لـ 10 ملايين صفحة، تشغل متجهات ColPali غير المضغوطة نحو 4.8 تيرابايت، وتشغل متجهات Embed 5 الكاملة نحو 76 غيغابايت، وتشغل متجهات البحث وفق الوصفة نحو 610 ميغابايت في RAM. ويُخزَّن على القرص نحو 95 غيغابايت إضافية من المتجهات الكاملة والمختصرة.
تحفظات ومكسب إضافي مع Rerank 5
ينبغي قراءة هذه الأرقام بحذر. لم تُنشر بيانات تدريب Embed 5، ولذلك لا يمكن استبعاد أن يكون النموذج قد رأى هذه المجموعات من قبل. وقد جرت الاختبارات بالإنجليزية، كما أن خمس مجموعات بيانات لا تمثّل مستنداتك أنت. ويحسب تقدير الذاكرة بايتات المتجهات وحدها، دون الفهرس والبيانات الوصفية. وتُبطئ القراءة من القرص عملية البحث، كما تشغل المتجهات المقروءة مع الوقت جزءًا من RAM الحرة في ذاكرة التخزين المؤقت لنظام التشغيل. وأخيرًا، هذه قياسات أجرتها شركة تبيع قاعدة بيانات متجهات.
وفي الختام اختبرت Qdrant أداة Cohere Rerank 5 التي صدرت أثناء إعداد المقال. تعمل هذه الأداة مع النص لا مع الصور، ولذلك تفيد من يستخدمون OCR أصلًا. فُهرسَت نصوص ViDoRe V3 بواسطة Embed 5 Pro، ثم أعاد Rerank 5 Pro ترتيب أفضل 20 صفحة. ارتفع متوسط nDCG@10 من 66.8 إلى 73.2، وفي مخطط Qdrant ذي الـ 64 بايت من 66.2 إلى 71.7.
الخلاصة العملية: إذا كان أرشيفك يتألف من تقارير وتعليمات وعروض تقديمية ذات تنسيق معقد، فجرّب Embed 5 Pro على عينة صغيرة من ملفات PDF الخاصة بك وقارنه بخط OCR الحالي. وإذا كانت الجودة متقاربة، فسيكون توفير RAM ملموسًا على نطاق واسع. كما تقبل Qdrant Cloud صورة الصفحة بصيغة base64 وتستدعي Cohere بنفسها، ولذلك لا حاجة إلى خطوة منفصلة لإنشاء التضمينات في الشيفرة.
- 19 نوفمبر 2026نموذج papr-embed-code-1 يجد الشيفرة بدقة تفوق Qwen3 بـ3 نقاط مئوية، والمتجه مضغوط 31 ضعفًا
- 27 أكتوبر 2026متجه واحد لكل مستند بطول 32K رمز يعثر على التفصيلة في 30% من الحالات، أما المقاطع فتصل إلى 56%
- 13 أكتوبر 2026Perplexity تطلق نموذجَي late interaction للبحث في صفحات PDF دون OCR
- 27 أكتوبر 2026Qdrant تضغط المتجهات 8 أضعاف مع خسارة في دقة الاسترجاع لا تتجاوز 1–2 نقطة مئوية
أسئلة وأجوبة حول الخبر
لماذا متجه واحد لكل صفحة؟
غالبًا ما تكون الإجابات في ملفات PDF مخبّأة داخل الرسوم البيانية والجداول والمخططات. الطريق التقليدي هو OCR، أي تحويل الصورة إلى نص. وقد يفقد هذا الأسلوب الروابط بين الكلمات، مثل تحديد أي رقم ينتمي إلى أي عمود في الجدول. وللبحث دون OCR، توصي Qdrant عادةً بنماذج التفاعل المتأخر مثل ColPali وColQwen. تخزّن هذه النماذج متجهًا مستقلًا لكل جزء صغير من الصورة، وتُقارَن كل كلمة في الاستعلام بأنسب جزء. هذا الأسلوب دقيق، لكنه يتطلب نحو ألف متجه للصفحة الواحدة.
ما أبرز التفاصيل حول كيف وصلت الصفحة إلى 64 بايت؟
تجمع الوصفة بين ثلاث تقنيات: تمثيل ماتريوشكا (MRL). تحمل الأرقام الأولى N من المتجه المعنى الأساسي، ولذلك يمكن الإبقاء على أول 512 رقمًا من أصل 2048. التكميم الثنائي. يبقى لكل رقم بت واحد فقط: هل قيمته أكبر من الصفر أم لا. وتعني 512 بتًا 64 بايت للصفحة. التكميم غير المتماثل. تُخزَّن الصفحات بصيغة بت واحد، بينما يبقى الاستعلام بصيغة 8 بتات. فإذا ضُغطت الصفحة والاستعلام معًا إلى إشارات فقط، يصوّت كل بُعد بالوزن نفسه حتى لو كانت قيمته أعلى من الصفر بقليل. أما مع استعلام دقيق، فتكتسب الأبعاد القوية وزنًا أكبر.
ما أبرز التفاصيل حول تحفظات ومكسب إضافي مع Rerank 5؟
ينبغي قراءة هذه الأرقام بحذر. لم تُنشر بيانات تدريب Embed 5، ولذلك لا يمكن استبعاد أن يكون النموذج قد رأى هذه المجموعات من قبل. وقد جرت الاختبارات بالإنجليزية، كما أن خمس مجموعات بيانات لا تمثّل مستنداتك أنت. ويحسب تقدير الذاكرة بايتات المتجهات وحدها، دون الفهرس والبيانات الوصفية. وتُبطئ القراءة من القرص عملية البحث، كما تشغل المتجهات المقروءة مع الوقت جزءًا من RAM الحرة في ذاكرة التخزين المؤقت لنظام التشغيل. وأخيرًا، هذه قياسات أجرتها شركة تبيع قاعدة بيانات متجهات.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.