Turbovec: فهرس متجهات مكتوب بلغة Rust يعتمد خوارزمية TurboQuant من Google Research

يجمع مشروع Turbovec الجديد بين قوة Rust وخوارزمية TurboQuant من Google Research لبناء فهرس متجهات من الجيل الجديد يسهّل نشر تطبيقات RAG.

خوارزمية TurboQuant: ضغط بلا تدريب

طورت Google Research خوارزمية TurboQuant، وهي طريقة مبتكرة لتكميم (ضغط) بيانات المتجهات. وتُعد هذه التقنية أساسية لتوسيع نطاق أنظمة RAG وغيرها من التطبيقات التي تحتاج إلى التعامل مع قواعد بيانات متجهات ضخمة في الذاكرة وعلى القرص.

تتطلب طرق الضغط التقليدية تدريب كتاب ترميزي (codebook)، وهي عملية يحلل فيها النظام مجموعة بيانات تمثيلية ويتعلم كيف يضغط المتجهات الجديدة على أفضل وجه. وهذه المرحلة مكلفة من حيث الوقت والموارد الحاسوبية: إذ يجب جمع البيانات، واختيار المعاملات الفائقة (hyperparameters)، وتشغيل التدريب، ثم إجراء التحقق.

أما TurboQuant فتتجنب كل ذلك. تستند الخوارزمية إلى تحليل رياضي للخصائص الإحصائية للمتجهات، ويمكن تطبيقها على أي بيانات دون تدريب مسبق.

النتيجة لافتة: تصل نسبة الضغط إلى 16x. فالبيانات التي كانت تشغل غيغابايتات من الذاكرة تتسع الآن في ميغابايتات. ومع ذلك لا تتأثر جودة البحث عمليًا، إذ تُحفظ المسافات بين المتجهات في الفضاء المضغوط بدقة عالية، ما يضمن استرجاعًا (retrieval) موثوقًا ونتائج بحث دقيقة.

Turbovec: لقاء Rust وPython

يُعد Turbovec تنفيذًا لخوارزمية TurboQuant بلغة Rust مع روابط Python سهلة الاستخدام. واختيار لغة البنية ليس عشوائيًا: فـ Rust توفر أقصى سرعة تنفيذ دون جامع نفايات (garbage collector)، وهو أمر حاسم للفهارس التي تتعامل مع مليارات نقاط المتجهات. ففي مثل هذه الأنظمة قد تتراكم حتى التأخيرات بمقياس الميكروثانية في عمليات البحث لتؤدي إلى تباطؤ ملموس في تجربة المستخدم.

وتعالج واجهة Python المهمة الثانية: فهي تتيح لمهندسي تعلم الآلة وهندسة البيانات دمج Turbovec بسهولة في خطوط معالجتهم دون إعادة كتابة المنطق بلغة Rust. وهذا النهج هو لقاء بين عالمين: أداء لغة نظم مع عملية وسرعة تطوير في Python.

تفترض البنية السيناريو التالي: يُنشأ الفهرس مرة واحدة في Rust لتحقيق أقصى أداء، بينما تصل إليه التطبيقات عبر واجهة Python البرمجية (API). وهذا يخفف العبء الذهني عن المطورين ويسرّع دورة التطوير مع الحفاظ على أقصى كفاءة في بيئة الإنتاج.

الاستخدام في RAG وخطوط معالجة المتجهات

الاستخدام الرئيسي لـ Turbovec هو خطوط معالجة RAG (Retrieval-Augmented Generation). والمبدأ في هذه الأنظمة بسيط: يؤخذ نص أو مستند من مصدر خارجي، ويُحوَّل إلى متجه بواسطة نموذج تضمين (embedding)، ثم يُبحث عن المستندات ذات الصلة عبر البحث بالمتجهات، وتُمرَّر النتائج التي عُثر عليها إلى LLM لتوليد الإجابة. وبالاعتماد على سياق المستندات المسترجعة، يولّد LLM إجابة أدق بكثير مما يولّده دون استرجاع.

يمنح الضغط 16 ضعفًا عدة مزايا عملية:

• متطلبات ذاكرة أقل — فهرس يضم 1 مليون متجه ببعد 384 يشغل الآن نحو 250 MB بدلًا من 4 GB
• نقل أسرع للبيانات — بايتات أقل عبر الشبكة بين مكونات خط المعالجة، وتأخيرات أقل في الأنظمة الموزعة
• توفير في التخزين السحابي — تُحتسب رسوم قواعد بيانات المتجهات عادةً بحسب الحجم، لذا يخفض الضغط الفواتير بشكل مباشر
• تسريع البحث — بيانات أقل للمسح، وتخزين مؤقت أفضل في ذاكرات المعالج المؤقتة

وغياب مرحلة تدريب الكتاب الترميزي أمر حاسم لسرعة التطوير. فسابقًا كان على المهندسين جمع مجموعة بيانات، وضبط المعاملات الفائقة، وتشغيل تدريب طويل لنموذج الضغط، ثم تصحيح النتائج. أما Turbovec فجاهز للعمل مباشرة — نشر خلال ساعات بدلًا من أيام.

ماذا يعني ذلك

يجعل Turbovec البحث بالمتجهات عالي الأداء أكثر إتاحة وأسهل نشرًا. فتطبيقات RAG التي كانت تتطلب بنية سحابية باهظة التكلفة وذاكرة كبيرة يمكن تشغيلها الآن على خوادم متواضعة. وهذا يوسّع الإتاحة أمام الشركات الناشئة والشركات في الأسواق الناشئة التي ترغب في التحكم بتكاليف بنيتها التحتية وتكلفة الاستعلام الواحد (cost-per-query).