SGLang يضيف دعم gpt-oss-120b على وحدات الرسوميات Hopper وBlackwell

عندما تطرح OpenAI نموذجًا مفتوحًا، لا يكون السؤال الأول لدى المهندسين عن جودة الإجابات، بل عن أمر آخر: على أي عتاد سيعمل، وكم ستبلغ تكلفة مليون توكن؟ فما لم يحظَ النموذج بدعم مناسب في محرك للاستدلال، يظل مجرد عبارة جذابة في بيان صحفي. لذلك قد يبدو إعلان LMSYS Org متواضعًا، لكنه مهم للممارسين: بات SGLang يدعم gpt-oss-120b على وحدات الرسوميات من Nvidia من جيلي Hopper وBlackwell.

ما الذي أُعلن تحديدًا؟

أعلن فريق LMSYS، الذي يطور SGLang، دعم gpt-oss-120b على معماريتين في آن واحد: Hopper ‏(H100 وH200) وBlackwell ‏(عائلة B200). وشاركت في العمل Eigen AI Labs وNvidia ومطورو SGLang أنفسهم ومجتمع المصادر المفتوحة. ويذكر المنشور أيضًا أن الدعم أُتيح خلال بضعة أيام من إطلاق النموذج، لكن العدد المحدد مبتور في النص المتاح، ولذلك لا نذكره.

أما السياق، فهو أن gpt-oss-120b نموذج يعتمد معمارية مزيج الخبراء، أو Mixture of Experts: لا يُفعَّل لكل توكن سوى جزء صغير من المعاملات. ووفقًا لـOpenAI، يبلغ إجمالي المعاملات نحو 117 مليارًا، منها نحو 5 مليارات نشطة. وتتوفر الأوزان بموجب ترخيص Apache 2.0، وهي مكمَّمة بصيغة MXFP4، ما يتيح استيعاب النموذج على بطاقة واحدة بسعة 80 غيغابايت. وهذه النماذج تحديدًا شديدة التأثر بجودة المحرك: فطريقة توزيع الخبراء واستخدام نوى الحساب منخفضة الدقة تحدد السرعة والتكلفة معًا.

لماذا يهم ذلك عمليًا؟

تخيّل سيناريو شائعًا: تبني مساعدًا داخليًا للمطورين، أو وكيلًا يتصفح الوثائق ويستدعي الأدوات. ولا ترغب في إرسال الشيفرة والبيانات الداخلية إلى واجهة API خارجية. لديك وحدات رسوميات خاصة بك، أو تستأجرها من مزود سحابي. وتبقى الخطوة التالية هي اختيار المحرك الذي سيشغّل النموذج ويخدم طلباته: vLLM أو TensorRT-LLM أو SGLang أو غيرها.

يضيف دعم SGLang خيارًا عمليًا آخر إلى هذه القائمة. ويُعرف SGLang بكفاءته في إعادة استخدام الأجزاء المشتركة في بداية الطلبات، وهو ما يفيد كثيرًا في سيناريوهات الوكلاء، حيث تتكرر تعليمات النظام الطويلة وسجل المحادثة في كل طلب. وهذا بالضبط نمط شائع لأعباء العمل مع gpt-oss-120b، الذي يُقدَّم بوصفه نموذجًا للاستدلال واستخدام الأدوات.

وتستحق Blackwell وقفة خاصة. فكثيرًا ما يتأخر الدعم البرمجي للعتاد الجديد، وينتظر أصحاب وحدات B200 الحديثة شهورًا للحصول على نوى حساب محسّنة. وعندما يُعلَن الدعم لكل من Hopper وBlackwell في الوقت نفسه، لا يحتاج الفريق إلى صيانة منظومتين برمجيتين مختلفتين للبطاقات القديمة والجديدة.

ما الذي لا يتضمنه المنشور؟

ينبغي توضيح حدود الإعلان بصراحة. فهو لا يتضمن أرقامًا عن معدل المعالجة بالتوكنات في الثانية، أو زمن الاستجابة، أو المقارنة بمحركات أخرى. ولا يقدم بيانات عن أداء النموذج مع سياق طويل وعدد كبير من الطلبات المتزامنة. إنه إعلان عن الدعم، وليس اختبار أداء، ولا يمكن اتخاذ قرار الانتقال إلى المحرك استنادًا إليه وحده.

كذلك، فإن «مدعوم» لا تعني «يعمل بأفضل أداء ممكن». تعمل الإصدارات الأولى من التكامل عادةً بصورة صحيحة، لكنها لا تستخرج دائمًا أقصى ما يستطيع العتاد تقديمه. وتأتي تحسينات السرعة في الإصدارات اللاحقة، لذا من المنطقي متابعة تحديثات SGLang بدلًا من التمسك بالإصدار الأول إلى الأبد.

ما الذي ينبغي فعله؟

إذا كنت تستضيف النماذج اللغوية الكبيرة بنفسك بالفعل، فأجرِ تجربة صغيرة. استخدم تدفقًا حقيقيًا للطلبات أو تسجيلًا له، وشغّل gpt-oss-120b على SGLang وعلى المحرك الذي تستخدمه حاليًا، ثم قارن ثلاثة مؤشرات: الزمن حتى أول توكن، وعدد التوكنات في الثانية تحت الحمل، وتكلفة ساعات تشغيل وحدات الرسوميات لكل ألف طلب. واختبر استدعاء الأدوات والمخرجات المهيكلة بصورة منفصلة، لأن الاختلافات بين المحركات تظهر غالبًا في هذين الجانبين.

وحتى إن لم يكن لديك عتاد خاص، يظل الخبر مفيدًا: فكلما زاد عدد المحركات القادرة على تشغيل نموذج مفتوح وخدمة طلباته، اشتدت المنافسة بين مزودي الاستدلال وانخفض السعر لكل توكن. ويكفّ اختيار الأوزان المفتوحة عن كونه مغامرة عندما تتوفر عدة طرق ناضجة لتشغيل النموذج.