ReaDy يسرّع فك ترميز نماذج LLM الهجينة بمقدار 3.16 مرة على بطاقة B200 واحدة

قدّم باحثون ReaDy، وهي طريقة لفك الترميز التخميني للنماذج الهجينة ذات الانتباه الخطي. وعلى سبعة اختبارات في الرياضيات وتوليد الشيفرة والحوار، تسرّع الطريقة التوليد في المتوسط بمقدار 3.16 مرة مقارنةً بفك الترميز الانحداري الذاتي المعتاد. أُجري الاختبار على Qwen3.8-27B وبطاقة NVIDIA B200 واحدة. وتتميز ReaDy عن الحل السابق DSpark بتفوق ثابت: فهي أفضل في الاختبارات السبعة كلها، بمتوسط 7.97% في الإنتاجية و8.50% في طول التسلسل المقبول.

لماذا تنظر المسودة في الاتجاه الخطأ

فكرة فك الترميز التخميني بسيطة. تتنبأ مسودة خفيفة (drafter) بعدة رموز (tokens) دفعة واحدة إلى الأمام، ثم يتحقق النموذج الأساسي منها في تمريرة واحدة ويقبل البادئة الصحيحة. وكلما طالت السلسلة المقبولة، قلّ عدد الخطوات المكلفة التي ينفذها النموذج الكبير.

تعتمد كثير من المسودات الحديثة على السمات الخفية للنموذج المستهدف. ويشير مؤلفو ReaDy إلى نقطة ضعف في هذا النهج: فهذه السمات تحمل «تركيزًا سياقيًا» خاصًا بها، وليس بالضرورة أن يتطابق مع ما تحتاجه مواضع المسودة اللاحقة في السلسلة. فبالنسبة إلى الرمز الأول يكون جزء من التاريخ هو الأهم، وقد يلزم للرمز الرابع جزء آخر. ومجموعة السمات الواحدة تلبّي هذه الاحتياجات بشكل غير متكافئ.

كيف تعمل ReaDy

تحتفظ النماذج الخطية الهجينة بحالات متكررة مضغوطة تتراكم فيها الارتباطات التاريخية. وهي مصدر مناسب لسياق إضافي يخدم التسريع: فقد حسبها النموذج المستهدف بالفعل، وهي تشغل حيزًا صغيرًا. ووفق ما يعلنه المؤلفون، تُعد ReaDy الأولى التي تستخدم هذه الحالات للبحث عن السياق الملائم لموضع محدد في المسودة.

آلية العمل كالتالي:

• يحصل كل موضع في المسودة على استعلام خاص به قابل للتدريب.
• يقرأ الاستعلام السياق الإضافي مباشرةً من الحالات المتكررة المثبّتة (committed) للنموذج المستهدف.
• تضيف وحدة خفيفة لقراءة الحالات (state reader) ما عثرت عليه إلى تمثيلات المسودة عبر تحديثات residual.
• تُبقي القراءة منخفضة الرتبة للحالات والمشغّلات المدمجة (fused) الحسابات الإضافية وحمل الإدخال والإخراج عند مستوى منخفض.

اعتمدت الطريقة على الهيكل المتوازي (backbone) ورأس التنبؤ المتسلسل المأخوذين من DSpark. ويجري التكيّف على مرحلتين. وفي تجارب الاستئصال (ablations) اختبر المؤلفون سعة reader ومصادر الحالات وموضع إدراج التحديثات residual. ولا تتضمن الخلاصة (abstract) نتائج محددة لهذه التجارب.

الأرقام

• الاختبارات: سبعة، تشمل الرياضيات والبرمجة والحوار.
• النموذج والعتاد: Qwen3.8-27B، وبطاقة NVIDIA B200 واحدة.
• متوسط التسارع مقارنةً بالفك الانحداري الذاتي: 3.16x.
• مقابل DSpark: throughput بزيادة 7.97%، وacceptance length بزيادة 8.50% في المتوسط.
• النتيجة أفضل من DSpark في كل اختبار من الاختبارات السبعة.

انتبهوا إلى العلاقة بين المقياسين. فارتفاع طول التسلسل المقبول بنسبة 8.50% مع ارتفاع الإنتاجية بنسبة 7.97% يعني أن الجزء الأكبر من المكسب يأتي من دقة المسودات، وأن الحسابات الإضافية لقراءة الحالات تستهلك جزءًا صغيرًا فقط. وينسجم هذا مع تركيز المؤلفين على القراءة منخفضة الرتبة وعلى مشغّلات fused.

ما الذي ينبغي فحصه قبل التطبيق

الطريقة مرتبطة بالمعمارية. فهي تتطلب حالات متكررة، ولذلك تناسب النماذج الخطية الهجينة، ولا يمكن تطبيقها بهذا الشكل على المحوّلات (transformers) الكلاسيكية ذات الانتباه الكامل. وإذا كان إنتاجكم يعمل على نماذج HLA، فيستحق ReaDy أن يُضاف إلى قائمة المرشحين: فالشيفرة مفتوحة على GitHub (StartLuxLabs/ReaDy)، كما أن التكيّف على مرحلتين يعني أن المسودة تحتاج إلى تدريب إضافي على نموذجكم المستهدف، ولا يمكن استخدامها جاهزة.

ولا يتضمن الوصف بيانات مهمة للتشغيل الفعلي. فمن غير الواضح كيف تتصرف الطريقة مع الدفعات (batches) الكبيرة، وعلى السياقات الطويلة، وعند محدودية الذاكرة. وجميع القياسات أُجريت على بطاقة B200 واحدة، والمقارنة مع DSpark تمت على مجموعة اختبارات واحدة. وقبل إدراج 3.16x في حسابات تكلفة الاستدلال (inference)، شغّلوا الطريقة على حركة البيانات الخاصة بكم: فقد يختلف عندكم توزيع الشيفرة والرياضيات والحوار، كما أن سرعة الطرق التخمينية تعتمد بقوة على مدى إمكانية التنبؤ بالنص.