Ettin Reranker من Hugging Face: 6 نماذج لإعادة ترتيب البحث بدقة عالية

أطلقت Hugging Face عائلة من 6 نماذج إعادة ترتيب Ettin مبنية على معمارية ModernBERT. وهي نماذج متقدمة لإعادة ترتيب نتائج البحث الثانوية، تم تدريبها باستخدام التقطير من نموذج أكبر.

ما هو نموذج إعادة الترتيب؟

نموذج إعادة الترتيب (cross-encoder) هو فئة خاصة من النماذج تأخذ زوجاً من المدخلات (الاستعلام والمستند) وتُصدر درجة صلة واحدة. الفرق الأساسي عن نماذج التضمين العادية: نموذج إعادة الترتيب يقوم بترميز كلا المتسلسلتين معاً، مما يسمح لهما برؤية بعضهما البعض عبر جميع طبقات المحول. هذا يجعل نماذج إعادة الترتيب أكثر دقة بكثير، لكنها أكثر تكلفة من حيث الحسابات.

كيف يعمل هذا عملياً؟

يستخدم البحث العادي نمط retrieve-then-rerank (الاسترجاع ثم إعادة الترتيب):

• الخطوة الأولى: نموذج تضمين سريع يستخرج أفضل K مرشح
• الخطوة الثانية: نموذج إعادة الترتيب يعيد ترتيب هذه المرشحات K بدقة عالية
• النتيجة: جودة أفضل دون تكاليف حسابية مفرطة

هذا النمط أكثر فعالية من حيث الاقتصاد من تطبيق نموذج إعادة الترتيب على مجمل الكاتالوج. تم تدريب Ettin خصيصاً لهذا السيناريو.

المعمارية والتحسينات

جميع نماذج هذه العائلة تستخدم ModernBERT كأساس مع عدة تحسينات أساسية:

• Flash Attention 2 لتسريع آلية الانتباه
• المتسلسلات غير المحشوة (Unpadded sequences) - كل طبقة ترى فقط الرموز الحقيقية
• تجميع CLS بدلاً من تجميع المتوسط (ثبت أنه أكثر دقة في الاختبارات)
• بنية خاصة: Transformer → Pooling → Dense layer → LayerNorm → Dense layer

المتسلسلات غير المحشوة توفر تحسناً ملحوظاً. بفضل هذا، يعمل نموذج بـ 150M معامل بسرعة أكبر 2.3 مرة من نموذجي ModernBERT الآخرين بـ 150M معامل. التسريع الكلي من bf16 + Flash Attention + unpadding يصل إلى 1.7-8.3 مرات حسب الحجم.

الأداء بالأرقام

في معيار MTEB (eng, v2)، حتى الإصدارات الصغيرة تثير الإعجاب:

• إصدار 17M يعالج 7517 زوج في الثانية (على H100)
• 32M - 6602 زوج في الثانية
• 150M - 3237 أزواج في الثانية (أسرع 2.3 مرة من المنافسين)
• إصدار 1B يعمل بسرعة أكبر 2.4 مرة من المعلم (1.54B)

هذا يعني أنه لمعظم التطبيقات، يوجد إصدار سيكون سريعاً ودقيقاً في نفس الوقت.

ما الذي يعنيه هذا؟

يجعل Ettin Reranker البحث عالي الدقة أكثر توفراً. الإصدارات الصغيرة تسمح بدمج إعادة الترتيب حتى في التطبيقات ذات الموارد الحسابية المحدودة، والإصدارات الكبيرة تتنافس مع أحدث التقنيات. التقطير على بيانات مفتوحة يعني أن أي شخص يمكنه إعادة إنتاج النتائج وتدريب نسخته الخاصة.