Turbovec: فهرس متجهي بلغة Rust مع خوارزمية TurboQuant من Google Research

تربوفيك: فهرس متجه في لغة Rust مع خوارزمية TurboQuant من Google Research

يجمع مشروع Turbovec الجديد قوة لغة Rust وخوارزمية TurboQuant من Google Research لإنشاء فهرس متجه من الجيل القادم يبسط نشر تطبيقات RAG.

خوارزمية TurboQuant: الضغط دون التدريب

طورت Google Research خوارزمية TurboQuant — وهي طريقة مبتكرة لتكمية (ضغط) البيانات المتجهة. هذه تقنية أساسية لتوسيع أنظمة RAG والتطبيقات الأخرى التي تحتاج إلى العمل مع قواعد بيانات متجهة كبيرة في الذاكرة وعلى القرص.

تتطلب طرق الضغط التقليدية تدريب كتاب الأكواد — عملية يحلل فيها النظام مجموعة بيانات تمثيلية ويتعلم كيفية ضغط المتجهات الجديدة بشكل أفضل. هذه المرحلة مكلفة من حيث الوقت والموارد الحاسوبية: تحتاج إلى جمع البيانات واختيار المعاملات الفائقة وتشغيل التدريب وإجراء التحقق.

تتجنب TurboQuant كل هذا. تعتمد الخوارزمية على التحليل الرياضي للخصائص الإحصائية للمتجهات ويمكن تطبيقها على أي بيانات دون تدريب مسبق.

النتائج مثيرة للإعجاب: يصل الضغط إلى 16 مرات. البيانات التي كانت تشغل سابقًا جيجابايت من الذاكرة تناسب الآن ميجابايت. في الوقت نفسه، لا تعاني جودة البحث عمليًا — تُحافظ المسافات بين المتجهات في الفضاء المضغوط على دقة عالية، مما يضمن استرجاعًا موثوقًا ونتائج بحث دقيقة.

تربوفيك: لقاء Rust و Python

Turbovec هي تطبيق لخوارزمية TurboQuant بلغة Rust مع روابط Python مريحة. اختيار لغة البنية ليس عشوائيًا: توفر Rust أقصى سرعة تنفيذ بدون جامع القمامة، وهو أمر حاسم للفهارس التي تعمل مع مليارات النقاط المتجهة.

في مثل هذه الأنظمة، حتى التأخيرات التي تبلغ أجزاء من الميكروثانية في عمليات البحث يمكن أن تتراكم وتؤدي إلى إبطاء كبير لتجربة المستخدم.

واجهة Python تحل المشكلة الثانية: فهي تسمح لمهندسي التعلم الآلي ومهندسي البيانات بدمج Turbovec بسهولة في خطوط الأنابيب الخاصة بهم دون إعادة كتابة المنطق بلغة Rust.

هذا النهج هو لقاء عالمين: أداء لغة النظام بالإضافة إلى براعة وسرعة التطوير في Python.

تفترض البنية السيناريو التالي: يتم إنشاء الفهرس مرة واحدة في Rust لأقصى أداء، وتصل التطبيقات إليه عبر واجهة برمجة التطبيقات Python. هذا يقلل من العبء المعرفي على المطورين ويسرع دورة التطوير مع الحفاظ على أقصى كفاءة في الإنتاج.

التطبيق في أنابيب RAG والمتجهات

التطبيق الرئيسي لـ Turbovec هو خطوط أنابيب RAG (الجيل المعزز بالاسترجاع). في مثل هذه الأنظمة، المبدأ بسيط: خذ النص أو المستند الأصلي من مصدر خارجي، حوله إلى متجه باستخدام نموذج التضمين، ابحث عن المستندات ذات الصلة من خلال البحث المتجه، وأرسل النتائج التي تم العثور عليها إلى نموذج اللغة الكبيرة لإنشاء الإجابات.

ينشئ نموذج اللغة الكبيرة إجابة أكثر دقة بكثير بناءً على السياق من المستندات المعثور عليها مقارنة بدون الاسترجاع.

يوفر الضغط 16 مرة عدة فوائد عملية:

• متطلبات ذاكرة أقل — يشغل الفهرس الذي يحتوي على 1 مليون متجه ذي 384 بُعد الآن حوالي 250 ميجابايت بدلاً من 4 جيجابايت
• نقل بيانات أسرع — عدد أقل من البايتات عبر الشبكة بين مكونات خط الأنابيب، زمن كمون أقل في الأنظمة الموزعة
• توفير تخزين سحابي — عادة ما تُفوَّر قواعد البيانات المتجهة حسب الحجم، لذلك يقلل الضغط التكاليف مباشرة
• بحث أسرع — بيانات أقل للفحص، تخزين مؤقت أفضل في ذاكرات المعالج

عدم وجود مرحلة تدريب كتاب الأكواد أمر حاسم لسرعة التطوير. سابقًا، كان على المهندسين جمع مجموعة بيانات واختيار المعاملات الفائقة وتشغيل تدريب طويل لنموذج الضغط وتصحيح الأخطاء في النتائج.

Turbovec جاهز للاستخدام مباشرة — النشر خلال ساعات بدلاً من أيام.

ماذا يعني هذا

يجعل Turbovec البحث المتجه عالي الأداء أكثر سهولة في الوصول والنشر. يمكن الآن تشغيل تطبيقات RAG، التي كانت تتطلب سابقًا بنية تحتية سحابية مكلفة بكميات كبيرة من الذاكرة، على خوادم متواضعة.

هذا يوسع إمكانية الوصول للشركات الناشئة والشركات في الأسواق النامية التي تريد التحكم في تكاليف البنية التحتية والتكلفة لكل استعلام.