ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارX: @lmsysorg→ المصدر

SGLang تسرّع الاختيار من بين 16 خيارًا على Qwen3-8B: 95% من الاستجابات خلال 20.6 مللي ثانية بدلًا من 54.1

عندما لا يُطلب من LLM كتابة نص بل اختيار أفضل خيار، يُجري التوليد المعتاد حسابات زائدة. أضاف فريق SGLang نقطة النهاية /v1/score ووضع MIS: يقرأ النموذج التعليمات المشتركة مرة واحدة، ثم يقيّم 16 مرشحًا كلًّا على حدة. على Qwen3-8B تُنجَز 95% من الطلبات (مقياس p95) خلال 20.6 مللي ثانية بدلًا من 54.1 مللي ثانية مع generate. وفي مهام الترتيب واختيار إجراءات الوكيل، يتفوق التسجيل على التوليد.

معالج بواسطة الذكاء الاصطناعي من X: @lmsysorg؛ بتحرير Hamidun News
SGLang تسرّع الاختيار من بين 16 خيارًا على Qwen3-8B: 95% من الاستجابات خلال 20.6 مللي ثانية بدلًا من 54.1
المصدر: X: @lmsysorg. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليX: @lmsysorg ↗
رئيس التحرير
حقيقة رئيسية #1تُرجع /v1/score درجات للتسميات المطلوبة فقط: Yes/No أو A/B/C
حقيقة رئيسية #2على Qwen3-0.6B يبقى p95 دون نحو 100 مللي ثانية مع ارتفاع الحمل
حقيقة رئيسية #3يصل زمن الاستجابة مع generate والتقييم الفردي (SIS) إلى ثوانٍ تحت الحمل نفسه

نحلّ كثيرًا من المهام في بيئات الإنتاج عبر نموذج محادثة بحكم العادة، مع أننا لا نحتاج فيها إلى نص. تصنيف الطلبات، وترتيب نتائج البحث، واختيار الخطوة التالية للوكيل: السؤال في كل هذه الحالات واحد، أي الخيارات هو الفائز؟ نشر فريق LMSYS، الذي يطوّر محرك SGLang، مقالًا في مدونته حول كيفية خدمة «نماذج القرار» هذه بسرعة ودقة أكبر. والرقم الأبرز: على Qwen3-8B ومع 16 مرشحًا، تُنجَز 95% من الطلبات خلال 20.6 مللي ثانية، بينما يستغرق التوليد المعتاد 54.1 مللي ثانية.

كلمة عن المقياس. p95 هو زمن الاستجابة الذي لا تتجاوزه 95% من الطلبات. فهو لا يعبّر عن «المتوسط» بل عن «ما يقارب أسوأ حالة»، وبه عادةً يُحكم على إمكانية وضع النموذج في سيناريو تفاعلي.

أين يُهدر التوليد المعتاد جهده؟

يستعين المؤلفون بمثال Open-Jev. يقيّم هذا النموذج كل مرشح بطلب منفصل: يُعطى وصفًا عامًا للمهمة ومرشحًا واحدًا، ثم يجيب بـ«Yes» أو «No». ومن احتمال الإجابة تُستخرج الدرجة. لنفترض أنك تختار أي إجراء من 16 إجراءً سينفّذه الوكيل: فكل إجراء يحتاج إلى درجته الخاصة.

عند خدمة هذا المخطط عبر التوليد المعتاد تظهر مشكلتان.

الأولى: لاستخراج الاحتمالات عليك أن تطلب من generate قائمة top-k من لوغاريتمات الاحتمالات، أي أكثر الرموز احتمالًا. فإذا لم تدخل التسمية التي تحتاجها (لنقل «Yes») في هذه القائمة، فإنك تفقدها.

الثانية: التعليمات والأمثلة وسجل الحوار واحدة لجميع المرشحين، لكن النموذج في المخطط الساذج يعيد قراءتها من جديد لكل واحد من الـ16. وكلما زاد عدد الخيارات زاد العمل الزائد.

ما الذي أضافوه إلى SGLang

أولًا، نقطة النهاية /v1/score. تُرجع درجات للتسميات التي طلبتها بالضبط: Yes/No أو A/B/C أو أي مجموعة أخرى. ولا يمكن للرمز المطلوب أن «يسقط» من المخرجات، لأنك لا تراهن على دخوله في القائمة العليا.

ثانيًا، وضع التسجيل متعدد العناصر (multi-item scoring، أو MIS). يُحسب السياق المشترك مرة واحدة، ويُقيَّم كل مرشح بمعزل عن غيره: فالخيارات لا ترى بعضها ولا تؤثر في درجات جاراتها. وهذا مهم: فلو كان المرشحون «يطّلعون» على بعضهم لأمكن أن يشوّه ترتيبهم في القائمة النتيجة.

تشبيه: تقرأ على لجنة التحكيم شروط المسابقة مرة واحدة، ثم تعرض الأعمال واحدًا تلو الآخر. لا حاجة إلى تكرار الشروط قبل كل عمل، والمشاركون لا يعيقون بعضهم.

أرقام من اختبارات الأداء

وفق بيانات LMSYS، لا يكاد زمن استجابة MIS يزداد عند رفع عدد المرشحين من 2 إلى 16. على Qwen3-8B انخفض p95 لـ16 مرشحًا من 54.1 مللي ثانية مع Generate إلى 20.6 مللي ثانية مع MIS، أي نحو 2.6 مرة.

تحت الحمل تتسع الفجوة. على Qwen3-0.6B يبقى p95 في وضع MIS دون نحو 100 مللي ثانية مع ارتفاع عدد الطلبات. أما مع Generate وSIS (حين يُقيَّم كل مرشح بطلب منفصل) فيرتفع زمن الاستجابة إلى ثوانٍ. وبالنسبة لوكيل يختار إجراءً داخل حلقة، فالفرق بين 20 مللي ثانية وبضع ثوانٍ هو الفرق بين منتج حيّ وآخر بطيء.

ماذا يفعل الممارس

إذا كنت تبني ترتيبًا أو ترشيحًا أو توجيهًا للطلبات أو اختيارًا لإجراءات الوكيل على LLM، فتحقق من أنك لا تمرّر كل شيء عبر generate. فحين يُختزل القرار في اختيار تسميات، يمنحك التسجيل نتيجة أكثر موثوقية وزمن استجابة أكثر قابلية للتنبؤ.

وثمة قيود. فالأرقام حصل عليها مؤلفو المحرك أنفسهم على نموذجين من Qwen3 (0.6B و8B) وعلى حملهم الخاص. وعلى عتادك، وبطول السياق وعدد المرشحين لديك، قد تختلف النتيجة. ومن المنطقي توقّع المكسب حيث يكون السياق المشترك طويلًا والمرشحون كثرًا: فهذا بالضبط ما يلغي MIS إعادة حسابه. أما إذا كان السياق قصيرًا والخياران اثنين فقط، فسيكون الأثر متواضعًا.

نُشرت الاختبارات وأوامر التشغيل في مدونة LMSYS. وعلى الفرق التي تعمل بالفعل على SGLang أن تأخذ مهمة ترتيب واحدة قائمة لديها، وتحوّلها إلى /v1/score، وتقارن p95 بالنهج السابق.

القصة

أسئلة وأجوبة حول الخبر

أين يُهدر التوليد المعتاد جهده؟

يستعين المؤلفون بمثال Open-Jev. يقيّم هذا النموذج كل مرشح بطلب منفصل: يُعطى وصفًا عامًا للمهمة ومرشحًا واحدًا، ثم يجيب بـ«Yes» أو «No». ومن احتمال الإجابة تُستخرج الدرجة. لنفترض أنك تختار أي إجراء من 16 إجراءً سينفّذه الوكيل: فكل إجراء يحتاج إلى درجته الخاصة. عند خدمة هذا المخطط عبر التوليد المعتاد تظهر مشكلتان. الأولى: لاستخراج الاحتمالات عليك أن تطلب من generate قائمة top-k من لوغاريتمات الاحتمالات، أي أكثر الرموز احتمالًا. فإذا لم تدخل التسمية التي تحتاجها (لنقل «Yes») في هذه القائمة، فإنك تفقدها.

ما أبرز التفاصيل حول ما الذي أضافوه إلى SGLang؟

أولًا، نقطة النهاية /v1/score. تُرجع درجات للتسميات التي طلبتها بالضبط: Yes/No أو A/B/C أو أي مجموعة أخرى. ولا يمكن للرمز المطلوب أن «يسقط» من المخرجات، لأنك لا تراهن على دخوله في القائمة العليا. ثانيًا، وضع التسجيل متعدد العناصر (multi-item scoring، أو MIS). يُحسب السياق المشترك مرة واحدة، ويُقيَّم كل مرشح بمعزل عن غيره: فالخيارات لا ترى بعضها ولا تؤثر في درجات جاراتها. وهذا مهم: فلو كان المرشحون «يطّلعون» على بعضهم لأمكن أن يشوّه ترتيبهم في القائمة النتيجة.

ما أبرز التفاصيل حول أرقام من اختبارات الأداء؟

وفق بيانات LMSYS، لا يكاد زمن استجابة MIS يزداد عند رفع عدد المرشحين من 2 إلى 16. على Qwen3-8B انخفض p95 لـ16 مرشحًا من 54.1 مللي ثانية مع Generate إلى 20.6 مللي ثانية مع MIS، أي نحو 2.6 مرة. تحت الحمل تتسع الفجوة. على Qwen3-0.6B يبقى p95 في وضع MIS دون نحو 100 مللي ثانية مع ارتفاع عدد الطلبات. أما مع Generate وSIS (حين يُقيَّم كل مرشح بطلب منفصل) فيرتفع زمن الاستجابة إلى ثوانٍ. وبالنسبة لوكيل يختار إجراءً داخل حلقة، فالفرق بين 20 مللي ثانية وبضع ثوانٍ هو الفرق بين منتج حيّ وآخر بطيء.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…