Xiaohongshu تسرّع مفهرس الانتباه المتناثر: تقنية DoSA تقلّص زمن الوصول إلى أول رمز بمقدار النصف

عكفت منصة التواصل الاجتماعي الصينية Xiaohongshu (المعروفة باسم RedNote) على معالجة عنق الزجاجة الذي يظهر بعد تطبيق آليات الانتباه المتناثر. فقد طوّر فريق Dots تقنية DoSA، التي تمكنت في الاختبارات من استبعاد نحو 97% من المرشحين داخل المفهرس بصورة مسبقة، دون أي تغيير في النتيجة النهائية لـ Top-K، كما خفّضت زمن الوصول إلى أول رمز (TTFT) بمقدار النصف في سياق يبلغ نحو 1M رمز، بحسب ما جاء في عنوان تقرير نشره موقع Jiqizhixin.

أين يكمن عنق الزجاجة؟

تعتمد آلية الانتباه المتناثر على تقليص الحسابات عبر منع كل استعلام من مراجعة كافة الرموز السابقة، وقصر ذلك على أكثر K رمزاً صلة فقط. ويتولى اختيار هذه الرموز نموذج خفيف ومستقل يُعرف بالمفهرس (Indexer)، حيث يقيّم كل زوج مكون من «استعلام ورمز» ويختار الأفضل بينها. ورغم أن هذه الخطوة تجعل آلية الانتباه الرئيسية منخفضة التكلفة، إلا أن المفهرس يظل ملزماً بفحص كامل السياق. وتزداد تكلفته الحسابية بصورة تربيعية تبعاً لطول التسلسل، حتى تصبح هي العامل الحاسم في تحديد وقت معالجة المطالبة البرمجية عند بلوغ السياق مليون رمز. وتعتمد نماذج عائلة DeepSeek V3.2 هذا النمط عبر مفهرسها «فائق السرعة».

تتضح هذه الإشكالية بوضوح عند معالجة الرمز الأول تحديداً؛ فخلال مرحلة الملء المسبق (Prefill)، يضطر المفهرس للمرور عبر كامل المطالبة الطويلة، مما يدفع المستخدم للانتظار وقتاً أطول من المتوقع قبل بدء تلقي الإجابة.

كيف تعمل DoSA؟

نظراً لأن النص الكامل للمصدر المتاح لدينا غير مكتمل، نستعرض تفاصيل التنفيذ استناداً إلى توصيف المطورين. تحسب تقنية DoSA حداً أعلى وحداً أدنى لتقييم الرموز المرشحة، وهي عملية حسابية منخفضة التكلفة مقارنة بالحساب الدقيق. وتعتمد آلية الاستبعاد هذه على منطق بسيط: إذا كان الحد الأعلى للمرشح أدنى من الحد الأدنى الذي يضمن بالفعل مقعداً ضمن أول K رمز، فلن يدخل هذا المرشح ضمن Top-K حتماً، وبالتالي لا توجد أي جدوى من حساب درجته بدقة.

تكمن الميزة الجوهرية في أن الطريقة لا تعتمد على التقريب الحسابي، بل تنتج نفس مجموعة الرموز التي يفرزها الفحص الشامل تماماً. ولهذا السبب يصح هنا التعبير الصيني «提速不降智» (أي «تسريع دون تراجع الذكاء»)، إذ لا يُفترض أن تتأثر جودة النموذج بعملية التسريع طالما أن اختيار الرموز لم يتغير.

ما أظهرته نتائج الاختبارات

• استبعاد نحو 97% من المرشحين قبل اللجوء للحساب الدقيق للدرجات.
• تطابق تام لنتائج Top-K مع نتائج الخوارزمية الأصلية.
• بلغ طول السياق في بيئة الاختبار نحو 1M رمز.
• انخفاض زمن الوصول إلى أول رمز بمقدار النصف تقريباً (وفق عنوان التقرير المنشور).

تغيب بعض البيانات الفنية عن المقتطف المتاح: مثل اسم النموذج بالكامل (إذ ينقطع في النص عند «Dots3…»)، والعتاد المستخدم، وحجم الدفعة (batch size)، والقيم المطلقة لزمن التأخير، وتوزيع المكاسب عبر المراحل المختلفة. كما أن نسبة «النصف» مرتبطة بتهيئة تقنية محددة، ولا يجوز تعميمها تلقائياً على بنى تحتية أخرى دون اختبارات عملية. وإضافة إلى ذلك، يُرجح أن تعتمد نسبة المرشحين المستبعدين على طبيعة البيانات ذاتها؛ فكلما كان توزيع الدرجات أكثر حدة وتفاوتاً، زادت كفاءة الحدود الدنيا والعليا.

الأثر العملي والتطبيقي

تكتسب DoSA أهمية خاصة للفرق الهندسية التي تشغّل نماذج تعتمد على السياقات الطويلة والانتباه المتناثر، لكونها تسرّع الاستدلال (Inference) دون الحاجة لإعادة تدريب ودون المخاطرة بتغيير سلوك النموذج. وبما أن اختيار الرموز يظل ثابتاً، يُفترض أن تجتاز النماذج اختبارات الانحدار (Regression tests) الخاصة بالجودة دون أي اختلاف، وهو مكسب رئيسي لبيئات الإنتاج التجاري حيث تتطلب أي فروق في المخرجات عمليات تدقيق مستقلة.

وتتمثل الخطوة الأولى في قياس الحصة الزمنية التي يستنزفها المفهرس من مرحلة Prefill في بنيتك الحالية؛ فإذا كانت النسبة مؤثرة عند سياقات تتراوح بين 128K و1M رمز، فستحقق التقنية فارقاً ملحوظاً. أما إذا كان الجزء الأكبر من الوقت يضيع في طبقات MoE أو في نقل البيانات بين معالجات GPU، فسيكون المردود أكثر تواضعاً. ويجدر أيضاً انتظار إتاحة الكود المصدري أو نشر التقرير الفني؛ إذ قد تؤدي الأعباء الحسابية الإضافية (Overhead) لحساب تلك الحدود على مستوى أنوية CUDA إلى تغيير النتائج النهائية على نحو ملموس.

وبالنسبة لمنصة Xiaohongshu تحديداً، يظل الأمر متعلقاً بالجدوى الاقتصادية؛ فكلما انخفضت تكلفة معالجة المطالبات الطويلة، سهل دعم ميزات السياق الضخم داخل المنتج النهائي، مثل البحث في خلاصات المنشورات، وتحليل المستندات، وسلاسل المهام المعتمدة على الوكلاء الأذكياء.