Qdrant تضغط المتجهات 8 أضعاف مع خسارة في دقة الاسترجاع لا تتجاوز 1–2 نقطة مئوية
تخزّن قواعد البيانات المتجهية التضمينات (embeddings) بصيغة float32 الثقيلة، فتتحول الذاكرة سريعًا إلى البند الأكبر في التكاليف. أضافت Qdrant أسلوب الضغط TurboQuant، وهو يُدوّر كل متجه عشوائيًا ثم يخزّن كل رقم في 1–4 بتات بدل 32. في وضع 4 بتات تنخفض المساحة المطلوبة 8 أضعاف، ولا تقل دقة الاسترجاع (نسبة الجيران المطلوبين التي يجدها البحث) عن SQ بضغطه 4 أضعاف إلا بمقدار 1–2 نقطة مئوية. وإذا كنتم تعتمدون على SQ أو BQ، فجرّبوا TurboQuant على عيّنة اختبارية.
معالج بواسطة الذكاء الاصطناعي من Qdrant Articles؛ بتحرير Hamidun News
إذا كنتم تشغّلون البحث المتجهي في بيئة الإنتاج، فأنتم تعرفون أين تذهب الذاكرة: إلى التضمينات. يشغل كل رقم في المتجه 32 بتًا افتراضيًا (float32)، وقد تبلغ المتجهات ملايين. ولتوفير الذاكرة تُضغط هذه المتجهات، لكن كلما اشتد الضغط فقد البحث مزيدًا من الوثائق المطلوبة. أضاف فريق Qdrant (مؤلفا المقال: إيفان بليشكوف ويوناس شولتس) طريقة ضغط جديدة باسم TurboQuant، وبيّن أنها تتفوق على طريقتين قديمتين، إما في استهلاك الذاكرة أو في الجودة.
ما الخيارات السابقة وما الجديد
كان في Qdrant سابقًا مساران رئيسيان. التكميم العددي SQ يخزّن كل رقم في بايت واحد (int8): ضغط 4 أضعاف، وجودة لا تكاد تختلف عن float32 في معظم التضمينات. أما التكميم الثنائي BQ فيخزّن 1 أو 1,5 أو 2 بت لكل رقم، أي ضغط 32 ضعفًا أو نحو 21 ضعفًا أو 16 ضعفًا. لكن النتيجة تعتمد بقوة على نموذج التضمين: فهو يعمل جيدًا مع النماذج المتجانسة الجيدة التدريب.
يضيف TurboQuant أربعة أوضاع: 4 بتات لكل رقم (ضغط 8 أضعاف)، وبتان (16 ضعفًا)، و1,5 بت (نحو 21 ضعفًا)، وبت واحد (32 ضعفًا). يُفعَّل في كتلة quantization_config الخاصة بالمجموعة (collection): يكفي اختيار العمق بالبتات (bits2 وما شابه)، ويمكن اختياريًا تثبيت البيانات في الذاكرة بالمعامل memory. يتطلب هذا المعامل Qdrant 1.19، وفي الإصدار 1.18 يجب حذفه.
كيف يعمل ذلك ببساطة
تخيّلوا المتجه مجموعةً من مئات الأرقام، بعض إحداثياتها واسع التباين وبعضها شبه معدوم التباين. تقريب أرقام كهذه بشكل منتظم أمر غير مناسب. لذلك يضرب الأسلوب كل متجه أولًا في مصفوفة متعامدة عشوائية، أي يُدوّره في الفضاء. لا تتغير المسافات ولا الجداء القياسي بذلك، ويتساوى تباين الإحداثيات. بعدها يُقرَّب كل رقم إلى أقرب قيمة من جدول صغير جاهز (دفتر الشيفرة Lloyd–Max)، وهو جدول واحد لجميع مجموعات البيانات. لا حاجة إلى تدريب شيء، ولا إلى عيّنة معايرة، ولا إلى تخزين جداول منفصلة. أما في التكميم الكلاسيكي بالمنتج (Product Quantization) فالأمر مختلف: إذ يجب تدريب دفتر الشيفرة على بياناتكم ونقله مع الفهرس.
لم تأخذ Qdrant الطريقة كما هي، بل مزجت أفكار TurboQuant وRaBitQ وأضافت تحسينات خاصة بها:
- إعادة تطبيع الطول. تأتي المتجهات المضغوطة أقصر قليلًا من الأصلية. تخزّن Qdrant لكل متجه معاملًا واحدًا (وهي البايتات الأربعة نفسها المخصصة أصلًا للطول) وتضرب به عند حساب التشابه.
- المعايرة حسب الإحداثيات. النظرية مشتقة لمتجهات موزعة بانتظام على الكرة، أما التضمينات الحقيقية فليست كذلك أبدًا. لذلك يُحدَّد لكل مقطع (segment) مرة واحدة إزاحة ومقياس لكل إحداثي. يذهب التصحيح إلى جانب الاستعلام، فلا يزداد حجم التخزين ولا تتغير نواة الحساب. وعلى البيانات المنتظمة تمامًا تتطابق النتيجة مع TurboQuant العادي.
- المقاييس. المدعوم هو المسافة الجيبية (cosine) والجداء القياسي وL2. أما مقياس L1 فغير مدعوم: فالتدوير لا يحفظ معيار L1، وينصح المؤلفون في حالته بالبقاء على SQ.
من بين نسختي المقال الأصلي اختارت Qdrant نسخة MSE. فهي تتيح مقارنة متجهين مضغوطين ببعضهما مباشرة (وهذا لازم مثلًا عند بناء رسم HNSW)، وتنسجم جيدًا مع تعليمات الأعداد الصحيحة AVX-VNNI وAVX-512 وNEON.
ماذا أظهرت الاختبارات المرجعية وماذا نفعل
قارن الفريق الطرق على مجموعات تضمينات عامة (الجدول الكامل يشمل عشر مجموعات). النتائج كالتالي:
- 4 بتات مقابل SQ. ضغط 8 أضعاف بدل 4. في معظم المجموعات تتأخر دقة الاسترجاع عن SQ بمقدار 1–2 نقطة مئوية، وفي بعضها يتفوق TurboQuant، لأن شبكة int8 لا تتلاءم جيدًا مع توزيع هذه التضمينات.
- بتان مقابل BQ ببتين. عند الضغط نفسه البالغ 16 ضعفًا يتقدم TurboQuant بمقدار 11–15 نقطة مئوية على المجموعات الأربع المعروضة، وبمقدار 9–24 نقطة مئوية على المجموعات العشر كلها.
- بت واحد مقابل BQ العادي. عند الضغط نفسه البالغ 32 ضعفًا يبلغ المكسب 9–21 نقطة مئوية. والمقصود هنا النسخة البسيطة من BQ التي يشغل فيها كل من المتجهات المخزَّنة والاستعلام بتًا واحدًا. أما النسخة ذات الاستعلام بثمانية بتات فتُشرح في المقال بشكل منفصل.
توصية المؤلفين بسيطة. إذا كنتم على SQ، فجرّبوا TurboQuant بأربع بتات: ستحصلون على نصف الذاكرة بدقة استرجاع قابلة للمقارنة. وإذا كنتم على BQ، فاختاروا TurboQuant بالحجم نفسه، أي بتين بدل بتين أو بتًا بدل بت، لتجدوا وثائق أكثر بالجيجابايتات نفسها. الانتقال يعني تغيير الإعدادات وإعادة الفهرسة.
وهناك تحفظات. الأرقام مأخوذة من اختبارات Qdrant نفسها، لذا تحققوا من الطريقة أولًا على عيّنة اختبارية من بياناتكم ونموذج التضمين لديكم. وإذا كان بحثكم مبنيًا على المقياس L1 فلن يناسبكم TurboQuant. أما بقية المستخدمين فهو أحد أرخص السبل لتقليص فاتورة الذاكرة دون إعادة كتابة التطبيق.
- 21 نوفمبر 2026أسعار ذاكرة الفلاش لأقراص SSD تتراجع بنسبة 19–32% في الصفقات الفورية — وقد تنخفض أسعار وحدات التخزين
- 21 نوفمبر 2026Unsloth تحدّث نسخ Qwen3.8-27B المضغوطة: الدقة ارتفعت بنسبة 5–10% عند الحجم نفسه
- 21 نوفمبر 2026الذكاء الاصطناعي يكتب شيفرة مليئة بالثغرات في 44% من الاختبارات: Positive Technologies تزوّد الوكلاء بماسح أمني
- 21 نوفمبر 2026سبير تطلق مكبّر صوت بسعر 14 990 روبلًا مزوّدًا بـ GigaChat: يفهم الأوامر الصوتية دون إنترنت
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ما الخيارات السابقة وما الجديد؟
كان في Qdrant سابقًا مساران رئيسيان. التكميم العددي SQ يخزّن كل رقم في بايت واحد (int8): ضغط 4 أضعاف، وجودة لا تكاد تختلف عن float32 في معظم التضمينات. أما التكميم الثنائي BQ فيخزّن 1 أو 1,5 أو 2 بت لكل رقم، أي ضغط 32 ضعفًا أو نحو 21 ضعفًا أو 16 ضعفًا. لكن النتيجة تعتمد بقوة على نموذج التضمين: فهو يعمل جيدًا مع النماذج المتجانسة الجيدة التدريب. يضيف TurboQuant أربعة أوضاع: 4 بتات لكل رقم (ضغط 8 أضعاف)، وبتان (16 ضعفًا)، و1,5 بت (نحو 21 ضعفًا)، وبت واحد (32 ضعفًا).
ما أبرز التفاصيل حول كيف يعمل ذلك ببساطة؟
تخيّلوا المتجه مجموعةً من مئات الأرقام، بعض إحداثياتها واسع التباين وبعضها شبه معدوم التباين. تقريب أرقام كهذه بشكل منتظم أمر غير مناسب. لذلك يضرب الأسلوب كل متجه أولًا في مصفوفة متعامدة عشوائية، أي يُدوّره في الفضاء. لا تتغير المسافات ولا الجداء القياسي بذلك، ويتساوى تباين الإحداثيات. بعدها يُقرَّب كل رقم إلى أقرب قيمة من جدول صغير جاهز (دفتر الشيفرة Lloyd–Max)، وهو جدول واحد لجميع مجموعات البيانات. لا حاجة إلى تدريب شيء، ولا إلى عيّنة معايرة، ولا إلى تخزين جداول منفصلة.
ما أبرز التفاصيل حول ماذا أظهرت الاختبارات المرجعية وماذا نفعل؟
قارن الفريق الطرق على مجموعات تضمينات عامة (الجدول الكامل يشمل عشر مجموعات). النتائج كالتالي: 4 بتات مقابل SQ. ضغط 8 أضعاف بدل 4. في معظم المجموعات تتأخر دقة الاسترجاع عن SQ بمقدار 1–2 نقطة مئوية، وفي بعضها يتفوق TurboQuant، لأن شبكة int8 لا تتلاءم جيدًا مع توزيع هذه التضمينات. بتان مقابل BQ ببتين. عند الضغط نفسه البالغ 16 ضعفًا يتقدم TurboQuant بمقدار 11–15 نقطة مئوية على المجموعات الأربع المعروضة، وبمقدار 9–24 نقطة مئوية على المجموعات العشر كلها. بت واحد مقابل BQ العادي.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.