Meta FAIR تسرّع التجميع من 10 إلى 45 مرة في اختبارات e-means على وحدات GPU

إذا كان تدريب الفهرس المتجهي يستغرق ساعات، فلن يحل تسريع توليد الإجابات هذه المشكلة. فالنظام يضطر أولًا إلى توزيع التضمينات على مجموعات ليتمكن لاحقًا من البحث عن المستندات المتشابهة بسرعة أكبر. اقترح فريق Meta FAIR خوارزمية e-means: تحدّث هذه المجموعات بدفعات صغيرة من البيانات، وتقلّص في التجارب زمن التجميع بشكل ملحوظ. والسؤال العملي للمطوّر بسيط: ما الجزء الذي يمكن توفيره من تحضير الفهرس مع الحفاظ على جودة البحث؟

لماذا يجعلنا k-means المعتاد ننتظر

لنتخيل قاعدة من ملايين المستندات. كل مستند تحوّل بالفعل إلى متجه، أي مجموعة أرقام تصف محتواه. إحدى طرق تنظيم البحث هي تقسيم المتجهات إلى مجموعات، ثم تصفّح المجموعات المناسبة عند الاستعلام. ولتدريب هذا التقسيم يُستخدم k-means غالبًا.

لكل مجموعة مركز. تُسنِد خوارزمية Lloyd الكلاسيكية النقاط إلى أقرب المراكز، ثم تعيد حساب المراكز من جميع النقاط المسندة. ولإجراء تحديث واحد من هذا النوع يجب معالجة مجموعة التدريب بأكملها. وعلى الأحجام الكبيرة يصبح تكرار هذا الإجراء مرحلة مكلفة في تحضير البيانات.

تبدأ e-means بتحريك المراكز بعد دفعات صغيرة من المتجهات. فمثلًا، قد تُظهر الدفعة التالية أن المستندات المتعلقة بالمدفوعات موزعة بشكل مختلف قليلًا عمّا افتُرض في البداية. عندها يتحرك مركز المجموعة المعنية فورًا. وتفقد الإسنادات القديمة وزنها تدريجيًا، لذلك يقل تأثير القرارات المبكرة غير الموفقة على بقية الحساب.

تخزّن الخوارزمية لكل عنقود مجموع المتجهات المرجَّح وعدد النقاط؛ وقسمة الأول على الثاني تعطي المركز. لكن النتيجة تتحقق بفضل مجموعة كاملة من الأساليب: إذ يغيّر المؤلفون أيضًا قوة التحديثات أثناء التدريب، ويعيدون تهيئة المجموعات شبه الفارغة، ويستخدمون نوى حسابية خاصة. ويُختار حجم الدفعة والخطوة الأولية وفق صيغ مستخلصة من التجارب. وهذا يغني عن البحث المنفصل عن هذين المعاملين، مع أن عدد العناقيد يبقى من تحديد المستخدم. يمكن الاطلاع على بنية الطريقة في وصف المشروع.

ما الذي جرى تسريعه فعليًا في التجارب

وفق ورقة المؤلفين، تبلغ e-means خطأ k-means المعتاد بعد 25 تمريرة خلال 1.4–2.6 تمريرة. والمقصود بالخطأ هنا متوسط مربع المسافة من المتجه إلى أقرب مركز. وكلما قلّ، كان حل الخوارزمية لمسألة التجميع أفضل.

وبالمقارنة مع التنفيذ المحسّن على GPU، Flash-KMeans، يذكر المؤلفون تسريعًا بنحو 10–45 مرة في الزمن. وفي تجربة كبيرة قسّموا أيضًا 10 مليارات متجه DINO إلى 16 مليون عنقود خلال 2.5 تمريرة، وحصلوا على خطأ أقل من نتيجة خوارزمية Lloyd بعد 25 تمريرة.

ينبغي قراءة هذه الأرقام مع شروط المقارنة. فالمنافس خوارزمية محددة جرى تشغيلها لعدد معين من التكرارات؛ ويعتمد المكسب على البيانات والعتاد والتنفيذ. وهذه نتائج فريق بحثي، لا وعد بتوفير متماثل لأي قاعدة. وتفاصيل المقارنات والتنفيذ منشورة في النص الكامل للبحث.

كيف تتحقق من الفائدة لمنتجك

بالنسبة لفريق لديه فهرس متجهي يُحدَّث بانتظام، هذه فرصة لإجراء تجربة صغيرة. خذ عينة ممثِّلة من تضميناتك، واحتفظ بعدد العناقيد نفسه، وقارن زمن تدريب المراكز. ثم ابنِ الفهارس وتحقق من نسبة الجيران المطلوبين التي يجدها كل خيار بميزانية بحث واحدة.

هذا القياس الثاني أساسي: فانخفاض خطأ التجميع وحده لا يضمن إجابة أفضل من نظام RAG. إذ تؤثر في الإجابة أيضًا التضمينات وتقسيم المستندات وإعدادات البحث وإعادة الترتيب والتوليد. وإذا كان معظم وقت التحضير يذهب في قراءة الملفات أو حساب التضمينات، فإن حتى التسريع الكبير للتجميع سيعطي مكسبًا محدودًا في العملية ككل.

يمكن البدء من الكود المفتوح في Faiss. وبالنسبة لمدير المنتج، فمعيار النجاح هو مقدار الوقت والمال الذي توفره دورة تحديث القاعدة كاملة مع اكتمال بحث مقبول. وإذا كان التجميع يشغل جزءًا كبيرًا من هذه الدورة، فإن e-means تستحق الاختبار من الآن.