ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارورقة بحثية · للتجربةLanceDB Blog→ المصدر

LanceDB: فهرس IVF_PQ يضغط المتجهات في أنظمة RAG بمقدار 64 ضعفًا ويُسرّع البحث

يصطدم البحث المتجهي في أنظمة RAG بحاجز الذاكرة: فالتضمين الواحد المكوَّن من 128 رقمًا بصيغة float32 يزن 4096 بت، بينما تضم قواعد البيانات ملايين منها. يعالج فهرس IVF_PQ في LanceDB هذه المشكلة بأسلوبين: يقطّع PQ المتجه إلى أجزاء ويخزّن بدل كل جزء رقم «جزء نموذجي» مشابه له (8 أرقام بحجم 8 بت لكل منها، أي 64 بت، أي أقل بمقدار 64 ضعفًا)، بينما يقسّم IVF الفضاء إلى خلايا ويبحث في الأقرب منها فقط. لذلك ينبغي اختبار IVF_PQ على بياناتكم الخاصة عند نمو قاعدة البيانات.

معالج بواسطة الذكاء الاصطناعي من LanceDB Blog؛ بتحرير Hamidun News
LanceDB: فهرس IVF_PQ يضغط المتجهات في أنظمة RAG بمقدار 64 ضعفًا ويُسرّع البحث
المصدر: LanceDB Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليLanceDB Blog ↗
رئيس التحرير
حقيقة رئيسية #1128 رقمًا بصيغة float32 (4096 بت) تتحول إلى 8 معرّفات بحجم 8 بت لكل منها، أي 64 بت
حقيقة رئيسية #2قيمة nprobes الافتراضية 20؛ ولتحقيق recall مرتفع يكفي 5–10% من مجموعة البيانات
حقيقة رئيسية #3يعيد refine_factor حساب المرشحين في الذاكرة: دقة أعلى، لكن سرعة أقل

تصطدم كل منظومة RAG عاجلًا أم آجلًا بحسابات بسيطة: يزداد عدد التضمينات، ويصبح تخزينها «كما هي» مكلفًا. يشغل المتجه الكثيف الواحد المكوَّن من 128 رقمًا بصيغة float32 ما يعادل 4096 بت، وتضم قواعد البيانات الفعلية ملايين المتجهات من هذا النوع. وقد حلّل فريق LanceDB في مدونته فهرس IVF_PQ الذي يعالج مشكلتين في آن واحد. يضغط الجزء PQ (Product Quantization، أي «التكميم بالأجزاء») كل متجه: ففي مثال المؤلفين يتحول حجم 4096 بت إلى 64 بت، أي يصبح أصغر بمقدار 64 ضعفًا. أما الجزء IVF (Inverted File، أي «الملف المعكوس») فيُسرّع البحث: فالنظام لا يفحص قاعدة البيانات كاملة، بل ينظر في أقرب مجموعات المتجهات فقط.

كيف يضغط PQ المتجه بمقدار 64 ضعفًا

تخيّلوا عنوانًا طويلًا يجب تدوينه باختصار. تقطّعونه إلى أجزاء، وتنشئون لكل جزء دليلًا للقيم النموذجية، ثم تكتبون بدل الجزء نفسه رقم السطر من الدليل. يعمل Product Quantization بطريقة مشابهة.

تتم العملية في ثلاث خطوات. أولًا يُقسَّم المتجه الكبير إلى أجزاء متساوية، أي متجهات فرعية. ويجب أن يقبل طول المتجه القسمة على عدد الأجزاء دون باقٍ. ثانيًا يُحدَّد لكل جزء أقرب مركز (centroid)، أي ممثل نموذجي للأجزاء المتشابهة (يسميه المؤلفون reproduction value). وأخيرًا يُخزَّن بدل المركز نفسه معرّفه الفريد، الذي يمكن بواسطته استعادة المركز لاحقًا.

في المثال التعليمي يُقسَّم متجه من 12 رقمًا إلى أربعة أجزاء من ثلاثة أرقام لكل منها، ويتحول إلى أربعة معرّفات. المثال مبسّط، ولا يكاد المكسب يظهر فيه. أما في الأحجام الواقعية فالصورة مختلفة. يشغل متجه من 128 رقمًا بصيغة float32 ما يعادل 128×32 = 4096 بت. وإذا ضُغط إلى ثمانية معرّفات بحجم 8 بت لكل منها، فسنحصل على 8×8 = 64 بت. أي فرق قدره 64 ضعفًا.

والثمن معروف: المتجه المُستعاد لا يطابق الأصلي. فأي ضغط مع فقدان يُضيّع شيئًا، وPQ ليس استثناءً. لذلك يكون البحث في هذه المتجهات تقريبيًا.

كيف يضيّق IVF نطاق البحث

يوفّر PQ الذاكرة، لكنه لا يجيب عن سؤال عدد المتجهات التي يجب فحصها. هنا يأتي دور Inverted File. يُقسَّم الفضاء إلى أقسام (partitions)، يضم كل منها متجهات متقاربة. ويوضح المؤلف ذلك بمخطط فورونوي: مجموعة من «الخلايا» تنتمي فيها كل نقطة إلى أقرب مركز.

عند وصول استعلام، لا يمسح النظام قاعدة البيانات كلها. بل يجد أقرب الخلايا ويبحث فيها فقط. وداخل هذه العينة يُطبَّق PQ. وتكون النتيجة انتقاءً أوليًا خشنًا ثم بحثًا بين المتجهات المضغوطة. وكلما قلّ عدد المرشحين، كانت الاستجابة أسرع.

أي المعاملات يجدر ضبطها عمليًا

يُنشأ الفهرس في LanceDB ببضعة أسطر: تُحمَّل البيانات في جدول، ثم يُستدعى create_index مع تحديد عدد الأقسام. يستخدم مثال المدونة 10 000 متجه عشوائي. وثمة تنبيه مهم: لتدريب الفهرس يجب أن يحتوي الجدول على بيانات كافية، وإلا فستكون المراكز رديئة.

عند البحث توجد ثلاثة معاملات رئيسية:

  • limit، والقيمة الافتراضية 10: عدد النتائج المطلوب إرجاعها.
  • nprobes، والقيمة الافتراضية 20: عدد الأقسام التي ستُفحص. كلما زادت القيمة ارتفعت الدقة، لكن البحث يصبح أبطأ. وبحسب نصيحة المؤلفين، يكفي عادةً تغطية 5–10% من مجموعة البيانات للحصول على recall مرتفع (نسبة النتائج المطلوبة التي جرى العثور عليها) مع زمن استجابة صغير.
  • refine_factor، وهو غير محدد افتراضيًا: إذا فُعّل، يقرأ النظام عناصر إضافية ويعيد ترتيبها في الذاكرة. ترتفع الدقة وتنخفض السرعة.

ماذا نفعل بهذا وما الذي لا ينبغي توقعه

إذا كنتم تبنون RAG أو بحثًا دلاليًا، وتنمو قاعدة البيانات معها فواتير الذاكرة والبنية التحتية، فجدير بكم النظر في IVF_PQ. تتيح المعاملان nprobes وrefine_factor مبادلة الدقة بالسرعة دون إعادة بناء الفهرس.

وثمة قيود ينبغي الاعتراف بها. المادة تعليمية: لا توجد فيها اختبارات أداء على بيانات حقيقية، ورقم 64× ناتج عن أحجام المتجهات، لا عن قياسات جودة البحث. أما مقدار تراجع recall على تضميناتكم فيتوقف على النموذج والبعدية وعدد الأقسام، وسيتعيّن التحقق منه على عينتكم الخاصة. لكن بوصفه مدخلًا إلى ما يقف خلف عبارة «الفهرس المتجهي» ومصدر توفير الذاكرة، فالنص مفيد وملموس هندسيًا.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف يضغط PQ المتجه بمقدار 64 ضعفًا؟

تخيّلوا عنوانًا طويلًا يجب تدوينه باختصار. تقطّعونه إلى أجزاء، وتنشئون لكل جزء دليلًا للقيم النموذجية، ثم تكتبون بدل الجزء نفسه رقم السطر من الدليل. يعمل Product Quantization بطريقة مشابهة. تتم العملية في ثلاث خطوات. أولًا يُقسَّم المتجه الكبير إلى أجزاء متساوية، أي متجهات فرعية. ويجب أن يقبل طول المتجه القسمة على عدد الأجزاء دون باقٍ. ثانيًا يُحدَّد لكل جزء أقرب مركز (centroid)، أي ممثل نموذجي للأجزاء المتشابهة (يسميه المؤلفون reproduction value).

ما أبرز التفاصيل حول كيف يضيّق IVF نطاق البحث؟

يوفّر PQ الذاكرة، لكنه لا يجيب عن سؤال عدد المتجهات التي يجب فحصها. هنا يأتي دور Inverted File. يُقسَّم الفضاء إلى أقسام (partitions)، يضم كل منها متجهات متقاربة. ويوضح المؤلف ذلك بمخطط فورونوي: مجموعة من «الخلايا» تنتمي فيها كل نقطة إلى أقرب مركز. عند وصول استعلام، لا يمسح النظام قاعدة البيانات كلها. بل يجد أقرب الخلايا ويبحث فيها فقط. وداخل هذه العينة يُطبَّق PQ. وتكون النتيجة انتقاءً أوليًا خشنًا ثم بحثًا بين المتجهات المضغوطة. وكلما قلّ عدد المرشحين، كانت الاستجابة أسرع.

ما أبرز التفاصيل حول أي المعاملات يجدر ضبطها عمليًا؟

يُنشأ الفهرس في LanceDB ببضعة أسطر: تُحمَّل البيانات في جدول، ثم يُستدعى create_index مع تحديد عدد الأقسام. يستخدم مثال المدونة 10 000 متجه عشوائي. وثمة تنبيه مهم: لتدريب الفهرس يجب أن يحتوي الجدول على بيانات كافية، وإلا فستكون المراكز رديئة. عند البحث توجد ثلاثة معاملات رئيسية: limit، والقيمة الافتراضية 10: عدد النتائج المطلوب إرجاعها. nprobes، والقيمة الافتراضية 20: عدد الأقسام التي ستُفحص. كلما زادت القيمة ارتفعت الدقة، لكن البحث يصبح أبطأ.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…