Inclusion AI تسرّع توليد LLM حتى 6,9 مرة بفضل شجرة المسوّدات

قدّمت Inclusion AI طريقة UBTree لتسريع توليد النص في النماذج اللغوية الكبيرة. يرسم نموذج صغير مسبقًا مسوّدة على شكل شجرة من 64 خيارًا لمتابعة النص، ثم يتحقق النموذج الكبير من جميع الفروع في تمريرة واحدة. ويعني الرقم «6,88×» في الاختبارات أن التوليد على Qwen3-4B جرى بسرعة تقارب سبعة أضعاف السرعة المعتادة، حين يُنتج النموذج رمزًا واحدًا في كل تمريرة. أما على Qwen3-8B فبلغ التسريع 6,94×. وهذا متوسط على سبعة اختبارات، من مسائل المدارس في GSM8K ومسائل أولمبياد الرياضيات في AIME إلى البرمجة في LiveCodeBench والحوارات في MT-Bench.

أين تتعثر المسوّدات المتوازية السريعة

يقوم فك التشفير التخميني (speculative decoding) على فكرة بسيطة. النموذج الكبير بطيء لأنه يمرّر كل أوزانه عند توليد كل رمز. لذلك يقترح نموذج صغير يعمل كمسوّدة (drafter) عدة رموز مقدمًا. ثم يتحقق النموذج الهدف منها في تمريرة واحدة، ويقبل كل شيء حتى أول خطأ. وكلما طالت السلسلة المقبولة، زاد التسريع.

تنقسم المسوّدات إلى متسلسلة ومتوازية. تؤلّف المتسلسلة الرموز واحدًا تلو الآخر، أما المتوازية فتُخرج الكتلة كلها دفعة واحدة. يندرج DFlash وDSpark ضمن المتوازية، وتطوّر UBTree هذه العائلة تحديدًا. هذه المسوّدات سريعة، لكن لها نقطة ضعف: فهي تقيّم كل موضع في الكتلة بشكل شبه مستقل عن جاراته. وحين يكون توزيع النموذج الهدف ضبابيًا وتتساوى عدة متابعات تقريبًا في الاحتمال، تخطئ المسوّدة في تخمين الكلمات التي ستتجاور. فتنقطع السلسلة قبل أوانها.

تمريرتان: جمع المرشحين ثم دمجهم في شجرة

تعالج UBTree هذه المشكلة دون التخلي عن التوازي. تُبنى المسوّدة في خطوتين متوازيتين.

• الخطوة الأولى. يختار نموذج DFlash 64 خيارًا للرمز في كل موضع من مواضع الكتلة الستة عشر. ويظل يحسب المواضع بشكل مستقل.
• الخطوة الثانية. يقيّم المحدد الثنائي (bigram) مدى صلاحية خيار ما ليكون متابعة لخيار آخر. ويمرّر زوج الرمزين المتجاورين عبر شبكتي بيرسبترون (perceptron) صغيرتين فوق تضمينات (embeddings) مجمّدة للنموذج الهدف، واحدة للسابق وأخرى للاحق. ثم يضيف التقييم الناتج إلى تقييم DFlash. ويعتمد وزن هذا التقييم على عمق الموضع.

تُحسب جميع الأزواج في آن واحد. ومن تقييمات الانتقالات تُبنى شجرة من 64 عقدة، ويتحقق النموذج الهدف منها كلها في تمريرة واحدة. قد لا يطابق فرع واحد اختيار النموذج الكبير، لكن فرعًا آخر سيطابقه.

دُرّب المحدد على ردود أُعيد توليدها عند درجة حرارة مرتفعة، مع دالة خسارة KL بعد إعادة التطبيع. وبهذا الترميز لا تدخل في بيانات التدريب المتابعات الأرجح فحسب، بل البدائل المعقولة أيضًا. لذلك تحوي الشجرة في الغالب الفرع الذي سيختاره النموذج الهدف.

ما أظهرته القياسات

• Qwen3-4B وQwen3-8B: متوسط التسريع 6,88× و6,94× على سبعة اختبارات.
• مقابل DARTree: تفوقت UBTree على أقرب طريقة شجرية في جميع المقارنات الثماني والعشرين، بمتوسط 7,4–13,4%.
• Ling3-Flash-124B في SGLang: 3,27× مقابل 2,73× لـ DSpark و2,80× لـ DFlash.
• Qwen3.8-27B: 4,78× مقابل 4,32× لـ DSpark.
• السياق الطويل (LongBench-v2): عدد الرموز المقبولة في جولة تحقق واحدة أعلى منه لدى أقوى منافس بنسبة 31,0–39,7%.

يلفت التفاوت في النتائج الانتباه. فقد تحقق التسريع الذي يقارب سبعة أضعاف على نماذج Qwen3 الصغيرة. أما على Ling3-Flash البالغ 124 مليار معامل في التشغيل الفعلي، فالتسريع أكثر تواضعًا: 3,27×. ومع ذلك يبقى الفارق ملحوظًا، إذ تعطي القياسات نفسها 2,80× لـ DFlash و2,73× لـ DSpark.

ما يمكن استخدامه الآن

نشرت Inclusion AI مع الطريقة نموذجي مسوّدة بترخيص MIT:

• Ling3-Tiny-UBTree، بحجم 183 مليون معامل. يعمل مع Ling-3.0-tiny (8 مليارات معامل، منها مليار واحد نشط).
• Ling3-Flash-UBTree، بحجم 482 مليون معامل. يعمل مع Ling-3.0-flash (124 مليار معامل، منها 5 مليارات نشطة).

لا يولّد هذان النموذجان أي نص بمفردهما. فهما يصلحان فقط كمسوّدتين لنموذجهما الهدف. ودعم UBTree لنموذج Ling3 في SGLang لم يُنشر بعد، بينما تعد الفريق بنماذج مسوّدة إضافية خلال شهر.

والخلاصة للمهندسين الذين يستضيفون النماذج بأنفسهم أن التسريع دون خسارة في جودة الرد يتحقق بإضافة صغيرة فوق النموذج، ولا حاجة إلى تغيير أوزان النموذج الكبير نفسه. لكن المسوّدات الجاهزة لا تتوفر حتى الآن إلا لنموذجين من عائلة Ling. أما مع أي نموذج هدف آخر فسيتعين تدريب المسوّدة بأنفسكم، ويحسن إعادة التحقق من أرقام Qwen3 على حمل العمل الخاص بكم.