NVIDIA تكشف عن SPEED-Bench: معيار قياس موحّد لفك التشفير التخميني

قدّمت NVIDIA عبر منصة Hugging Face معيار SPEED-Bench، وهو معيار قياس جديد لـ speculative decoding، أي تقنية تسريع الاستدلال في نماذج اللغة الكبيرة. ويهدف المعيار إلى قياس سلوك النماذج ومحركات الاستدلال (inference) في مهام أقرب إلى التشغيل الفعلي، لا إلى قمم الأداء المخبرية.

كيف يعمل SPEED-Bench

ينطلق المؤلفون من مشكلة بسيطة: الاختبارات الحالية مجزّأة. بعضها يقيّم جودة نموذج draft على عيّنات صغيرة جدًا، وبعضها يقيس throughput على مُدخلات قصيرة وبحجم دفعة (batch size) يساوي 1، وبعضها الثالث يعتمد على حزمة برمجية محددة لا تعكس بيئة الإنتاج جيدًا. ونتيجة لذلك يصعب المقارنة بين أساليب speculative decoding: فالخوارزمية نفسها قد تبدو ممتازة على مجموعة بيانات تجريبية بسيطة، ثم يتراجع أداؤها بوضوح مع السياقات الطويلة أو عند ارتفاع تزامن الطلبات.

ينقسم SPEED-Bench إلى جزأين ويُستكمل بإطار قياس موحّد. يضم القسم النوعي (qualitative) 880 مُدخلًا من 18 مصدرًا عامًا، موزّعة على 11 فئة، من البرمجة (coding) والرياضيات (math) إلى لعب الأدوار (roleplay) وRAG والتلخيص (summarization) وتعدد اللغات (multilingual). وتضم كل فئة 80 مثالًا، اختيرت بحيث يقلّ التكرار الدلالي وتُغطّى أكبر قدر ممكن من السيناريوهات المختلفة. وللانتقاء، حوّل المؤلفون المرشّحين إلى تمثيلات embedding باستخدام نموذج text-embedding-3-small، ثم خفّضوا متوسط التقارب الزوجي داخل كل فئة إلى الحد الأدنى.

• يقيس القسم النوعي (Qualitative split) معدل القبول (acceptance rate) وطول القبول (acceptance length) في مجالات مختلفة
• يختبر قسم throughput السرعة على متتاليات إدخال تتراوح من 1k إلى 32k رمز
• لكل طول ثلاثة مستويات صعوبة: low-entropy وmixed-entropy وhigh-entropy
• يضم كل bucket واحد 1 536 مُدخلًا، ما يتيح رسم منحنيات throughput مستقرة بحجم دفعة يصل إلى 512
• يعمل الإطار مع TensorRT-LLM وvLLM وSGLang

وعولجت بصورة مستقلة مشكلة المقارنة العادلة بين المحركات. فأنظمة الاستدلال المختلفة تطبّق قوالب المحادثة (chat templates) ورموز BOS والترميز (tokenization) بطرق متباينة، ولذلك قد يتلقى النموذج نفسه مُدخلات مختلفة قليلًا. في SPEED-Bench نُقل إعداد المُدخل إلى خارج المحركات، فتتسلّم هذه المحركات متتاليات مُرمَّزة مسبقًا. وهذا يقلّل أثر الفروق الجانبية، ويتيح مقارنة خوارزميات speculative decoding نفسها لا الآثار الجانبية للمعالجة المسبقة. كما يسجّل الإطار قياسات تفصيلية عن زمن الخطوة (step latency) وعدد الرموز في الثانية لكل مستخدم (user TPS) وإجمالي output throughput.

ماذا أظهرت الاختبارات

تُظهر النتائج الأولى أن speculative decoding يعتمد بقوة على نوع المهمة. ففي المجالات منخفضة الإنتروبيا، مثل البرمجة والرياضيات، يكون طول القبول أعلى لأن المسوّدة (drafter) تخمّن الرموز التالية بسهولة أكبر. أما في المهام الأكثر انفتاحًا، مثل لعب الأدوار والكتابة، فتكون المؤشرات أدنى. وفي الأمثلة الواردة في الدراسة، تحقق رؤوس MTP الأصلية في Qwen3-Next متوسط طول قبول يبلغ 2.81، وEAGLE3 على GPT-OSS 120B يبلغ 2.25، وN-Gram على Llama 3.3 70B يبلغ 1.41؛ كما يهبط N-Gram عند حجم دفعة 32 إلى تباطؤ وسطي يصل إلى 0.88x بدل أن يحقق تسريعًا.

ويتعلق استنتاج آخر بالتحسينات الجريئة. فقد درس المؤلفون على حدة تقليم المفردات (vocabulary pruning) في EAGLE3، وهي تقنية تخفّض كلفة الإسقاط النهائي. وأثرها شبه غير ملحوظ في البرمجة والرياضيات، لكن طول القبول يتراجع بدرجة أكبر على الذيل الطويل من طلبات المستخدمين، لا سيما في تعدد اللغات وRAG والتلخيص. أي أن تحسينًا يبدو غير مؤذٍ على مجموعة بيانات ضيقة قد يُضعف السلوك الفعلي على مجموعة أوسع من المهام.

أما الملاحظة الأكثر عملية فتتعلق بأحمال العمل الاصطناعية (synthetic workloads). فما زال شائعًا في القطاع تشغيل الاستدلال على رموز عشوائية، لكنه يشوّه الصورة في حالة speculative decoding: إذ يتعرّف النموذج على الضوضاء ويجيب بقوالب جاهزة، فيرتفع طول القبول بصورة مصطنعة. وفي قياسات SPEED-Bench يؤدي ذلك إلى تضخيم throughput بنحو 23% مقارنة بأحمال العمل الواقعية. وهذه إشارة مباشرة للفرق الهندسية: فقد تقود المعايير الاصطناعية إلى اختيار خاطئ لطول draft، أو حتى لمخطط التسريع بأكمله.

ما معنى ذلك

يمثّل SPEED-Bench محاولة لجعل تقييم speculative decoding أقرب إلى ما يهمّ فعلًا الفرق التي تشغّل نماذج LLM في الإنتاج: السياقات الطويلة وأحجام الدفعات الكبيرة والمجالات المتنوعة وظروف قابلة للمقارنة بين المحركات. وإذا ترسّخ هذا المعيار، فسينتقل النقاش حول تسريع LLM من الأرقام اللافتة على الاختبارات الاصطناعية إلى بيانات قابلة للتكرار تبيّن أين يعمل التسريع وأين لا يعمل. وبالنسبة لفرق البنية التحتية والبحث، فهذا أنفع من رقم قياسي جديد على مجموعة بيانات واحدة مريحة.