Glance: نموذج 9B واحد يختار فقرات RAG بنفسه ويتفوق على أداة إعادة الترتيب

يحتفظ خط أنابيب RAG المعتاد بنموذجين في الذاكرة. تفرز أداة إعادة الترتيب أولًا الفقرات التي أعادها البحث، ثم يقرأ المولّد أفضلها ويكتب الإجابة. يقترح باحثون من مشروع airun-ai نظام Glance، حيث يقيّم المولّد الفقرات بنفسه، فلا حاجة إلى أداة إعادة ترتيب منفصلة. أضاف الباحثون إلى نموذج مجمَّد بـ9 مليارات معلمة محوّل LoRA (مجموعة صغيرة من الأوزان المضبوطة) و«رأس مؤشِّر» بـ256 بُعدًا. وتشغل كل إضافة «مهارية» من هذا النوع نحو 0,1 GiB. النتائج حتى الآن أولية: اختُبرت مجموعتا بيانات للبحث، ومجموعة واحدة للأسئلة والأجوبة، وعائلة واحدة من النماذج.

تمريرة واحدة بدل عشرين

يرمّز نموذج cross-encoder التقليدي (مثل bge-reranker-v2-m3) كل زوج «استعلام — فقرة» على حدة. فإذا كان عدد المرشحين 20، فهذا يعني 20 تمريرة. أما Glance فمصمَّم بطريقة مختلفة.

• يقرأ النموذج جميع المرشحين مرة واحدة ويحفظ كاشًا داخليًا (prefill).
• يتفرع من هذا الكاش مجسّات قصيرة (probes)، نحو 30 رمزًا لكل منها، مثل: «هل تحتوي الفقرة N على معلومات تجيب عن الاستعلام؟»
• لا ترى المجسّات بعضها بعضًا، لكن كل مجس يرى جميع الفقرات ويستطيع المقارنة بينها.
• يحوّل الرأس المؤشِّر حالة النموذج عند المجس إلى درجة صلة. ولا يُولَّد أي نص في هذه العملية.

هناك أيضًا نسخة Glance-Activated. فيها يعمل المحوّل على رموز المجسّات فقط، وتُرمَّز الفقرات بالأوزان الأساسية، ويُستكمل الجواب من الكاش الأصلي. أما في الوضع الأساسي فتُقرأ الفقرات المختارة (نحو 1,5 ألف رمز) من جديد مع إيقاف المحوّل.

النموذج الأساسي هو MiMo-V2.6-Distill-Qwen-9B من Xiaomi، وهو نموذج هجين: تتناوب فيه طبقات الانتباه الخطي Gated DeltaNet وطبقات الانتباه العادي بنسبة 3:1. وللطبقات الخطية حالة تسلسلية واحدة، ولذلك لا يمكن دمج كاشات الفقرات المنفصلة بترتيب عشوائي. لذا قرر الباحثون نسخ التفرعات من نهاية السياق المشترك، وهذه الطريقة دقيقة.

ماذا أظهرت القياسات

جرى التقييم بمقياس nDCG@10: كلما ارتفعت المستندات المطلوبة في العشرة الأولى، اقتربت القيمة من 1. وأعادت أدوات الترتيب فرز أفضل 20 نتيجة من BM25 (البحث النصي الكلاسيكي).

• دون تدريب على بيانات البحث، حقق المحوّل على SciFact (ادعاءات علمية) 0,715 مقابل 0,729 لعشرين استدعاءً منفصلًا للنموذج نفسه، وكان أسرع بـ3,6 مرة. وبلغت قيمة cross-encoder على SciFact 0,721.
• على NFCorpus (نصوص طبية) حقق الوضع نفسه 0,341 مقابل 0,326 لـ cross-encoder. ويفترض المؤلفون أن مقارنة الفقرات ببعضها هي ما يساعد هنا.
• بعد 39 دقيقة من التدريب على MS MARCO (4000 استعلام، وبطاقة رسومات واحدة من طراز B200، وذروة استهلاك 21 GiB) ارتفعت النتيجة إلى 0,741 على SciFact و0,345 على NFCorpus. وبلغ التفوق على cross-encoder ما مقداره 0,020 و0,019 على التوالي. لم تُختبر الدلالة الإحصائية على هاتين المجموعتين، ويصف المؤلفون أي فارق أقل من 0,02 بأنه تقريبي.

وعلى HotpotQA (أسئلة تتطلب جمع الحقائق من فقرتين للإجابة عنها) اختبر الباحثون 300 سؤال بواقع 10 فقرات لكل سؤال. وجد cross-encoder الفقرات المطلوبة في أحيان أكثر: بلغ الاستدعاء (recall) ضمن أفضل فقرتين 0,863 مقابل 0,762. لكن الإجابات المبنية على اختيار Glance جاءت أفضل: F1 يساوي 0,718 مقابل 0,683 للمحوّل غير المدرَّب، وهذا الفارق غير دال إحصائيًا. ويعلن الملخص المرافق للدراسة عن مكسب قدره +0,045 في F1 للنسخة المضبوطة. وإذا تُرك المحوّل مفعّلًا أثناء الإجابة أيضًا، يرتفع F1 إلى 0,757، أي أقل بـ0,032 من السقف الذي تحدده الفقرتان المرجعيتان. وتصبح الإجابات أقصر (2,5 كلمة مقابل 3,1)، وهذا أنسب لصيغة HotpotQA.

أين يبلغ الأسلوب سقفه

تظهر الميزة الرئيسية في قوائم المرشحين الطويلة. يتحسن المحوّل المضبوط حتى 200 مرشح (43,4 ألف رمز): قيمة nDCG@10 تساوي 0,717 مقابل 0,659 لـ cross-encoder على 100 استعلام نفسها من SciFact. وعند 100 مرشح يبلغ الفارق 0,060، ويستغرق الاستعلام 1,05 ثانية. أما المحوّل غير المدرَّب فيتدهور عند الأحجام الكبيرة، وتنخفض الجودة إلى 0,505 عند 65 ألف رمز.

وهذا هو الثمن:

• تنمو الذاكرة أسرع من طول السياق: من 15 إلى 56 GiB، لأن كل مجس ينسخ كاش الانتباه.
• لا تتسع 200 مرشح في استدعاء واحد، فتُعالَج على دفعات، وهذا يستغرق 15,8 ثانية للاستعلام.
• لا يسرّع دمج عدة استعلامات في استدعاء واحد العمل: ينخفض الإنتاجية من 2,87 إلى 1,57 استعلام في الثانية.
• يبقى cross-encoder أسرع بكثير: من 31 إلى 60 مللي ثانية للاستعلام مقابل نحو 410–420 مللي ثانية لـ Glance المدرَّب على B200.

ويقترح المؤلفون كاشًا كتليًا مشتركًا دون نسخ، يجعل الذاكرة تنمو خطيًا ويتيح الانتقال إلى سياقات بحدود 128 ألف رمز.

لمن سيفيد هذا

يتحقق المكسب الرئيسي لـ Glance في الذاكرة. فإذا كان الخادم يشغّل أصلًا نموذجًا كبيرًا للإجابات، يمكن عدم الاحتفاظ بأداة ثانية لإعادة الترتيب، والاكتفاء بالتبديل بين المحوّلات عند الطلب. وتتطابق المخرجات في هذه الحالة مع ما يُصدره كل نموذج محمَّل على حدة. أما في الأنظمة التي تهمّها زمن استجابة بعشرات المللي ثانية، فيظل cross-encoder المتخصص أكثر جدوى. وإذا كان المطلوب ترتيب مئات المرشحين أو اختيار السياق الذي يستخدمه المولّد فعلًا، فالأسلوب جدير بالتجربة. المحوّلات والشيفرة متاحة على Hugging Face في المستودع airun-ai/GlanceRAG-MiMo-9B-Reranker.