ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارAPI / منتج · جاهز للعملAWS Machine Learning Blog→ المصدر

أمازون تفتح SGLang-Neuron: تشغيل gpt-oss-120b على رقائق Trainium دون تغيير الـ API

أتاحت أمازون SGLang-Neuron، وهو مكوّن إضافي يشغّل خادم SGLang للنماذج اللغوية على رقائق AWS Trainium بدلًا من بطاقات Nvidia الرسومية. تُرسل الطلبات إلى الـ API نفسه كما في السابق، بينما يعمل PyTorch العادي في الخلفية. وفي مثال AWS يعمل gpt-oss-120b، وهو نموذج OpenAI مفتوح بحجم 120 مليار معامل، على جهاز مزوّد بـ Trainium3. وإذا كنتم تستخدمون SGLang بالفعل، فإن التجربة التجريبية تقتصر على تغيير الحاوية، لكن السعر والسرعة عليكم قياسهما بأنفسكم.

معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
أمازون تفتح SGLang-Neuron: تشغيل gpt-oss-120b على رقائق Trainium دون تغيير الـ API
المصدر: AWS Machine Learning Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليAWS Machine Learning Blog ↗
رئيس التحرير
حقيقة رئيسية #1المكوّن الإضافي يعيش خارج نواة SGLang ويتحدّث بصورة مستقلة
حقيقة رئيسية #2يمكن توزيع مرحلتَي prefill وdecode على خادمين عبر شبكة EFA
حقيقة رئيسية #3إصدار الحاوية v0.1.0، ولم تقدّم AWS أي قياسات للسرعة أو السعر

إذا كنتم تشغّلون النماذج اللغوية في بيئة الإنتاج، فأنتم تعرفون المشكلة المعتادة: المنظومة كلها مكتوبة لبطاقات Nvidia الرسومية، وأي رقاقة أخرى تعني إعادة كتابة نصف البنية التحتية. تحاول أمازون حل هذه المشكلة لمسرّعاتها الخاصة. فقد أعلنت الشركة أن SGLang-Neuron أصبح متاحًا للعموم. SGLang خادم مفتوح المصدر شائع، يستقبل الطلبات ويوزّع إجابات النماذج اللغوية. أما Trainium فهي عائلة رقائق الذكاء الاصطناعي من AWS، وتروّج لها أمازون بوصفها بديلًا أرخص من وحدات GPU. وSGLang-Neuron مكوّن إضافي يربط بينهما: الخادم نفسه والـ API نفسه (صيغة الطلبات الموجّهة إلى النموذج)، لكنه يعمل على Trainium. وفي مثال AWS يُشغَّل gpt-oss-120b على هذه الرقاقة، وهو نموذج OpenAI مفتوح بحجم 120 مليار معامل.

أصدر المكوّن فريق RadixArk بالتعاون مع Annapurna Labs، ويمكن الحصول عليه عبر AWS Deep Learning Container، أي صورة جاهزة تضم البرمجيات اللازمة.

كيف يعمل من الداخل

SGLang-Neuron مكوّن إضافي خارج المستودع الرئيسي لـ SGLang (out-of-tree). بعد التثبيت يسجّل منصة neuron عبر نقاط دخول المكوّنات الإضافية، وتُحدَّد المنصة بمتغير البيئة SGLANG_PLATFORM=neuron عند تشغيل الخادم. وتظل نواة SGLang مسؤولة عن خادم الـ API ودورة حياة الطلب وRadixAttention ومحاسبة ذاكرة البادئة المؤقتة. أما كل ما يخص Trainium — النماذج والانتباه ومزيج الخبراء (MoE) وgraph runner — فيتولاه المكوّن الإضافي.

يمنح هذا التصميم فائدة عملية: يمكن تطوير دعم Trainium ونواة SGLang بصورة مستقلة، فيتحدّث الجزءان بوتيرة أسرع. لا تضطر النواة إلى انتظار العتاد، ولا يضطر فريق العتاد إلى انتظار إصدارات النواة.

على مستوى التنفيذ، يسجّل TorchNeuron رقاقة Trainium جهازًا عاديًا في PyTorch. ويعتمد المسار الأساسي لتنفيذ النموذج على عمليات PyTorch القياسية، مع إضافة نوى مكتوبة بواجهة Neuron Kernel Interface (NKI) لرفع السرعة. ويُجمَّع كل ذلك عبر torch.compile في برامج قابلة للتنفيذ، يجهّزها graph runner ويشغّلها أثناء خدمة الطلبات.

كما يدعم المكوّن PD disaggregation، أي تقسيم العمل بين الخوادم. يعالج أحد الخوادم (prefill) المُوجِّه ويحسب KV-cache، ثم ينقله إلى خادم ثانٍ (decode) عبر NIXL فوق Elastic Fabric Adapter (EFA). ويكمل الخادم الثاني حساب الرموز المتبقية. ويمكن تشبيه ذلك بمطبخ يحضّر فيه طاهٍ المكوّنات الأولية ويجمّع الآخر الطبق: كل منهما منشغل بمرحلته، فيتحرك الطابور بسلاسة أكبر. ويبقى الخادمان على مُجدوِل SGLang، بينما يدير المكوّن الإضافي التنفيذ على Trainium ونقل الذاكرة المؤقتة.

كيف تشغّله

تعرض وثائق AWS مسارًا قصيرًا. تحتاجون إلى نسخة Amazon EC2 مزوّدة بـ Trainium3 وحاوية pytorch-inference-sglang-neuron. ثم ثلاث خطوات:

  • تشغيل الحاوية عبر docker run مع الخيارين --privileged و--ipc=host؛
  • تشغيل الخادم بالأمر sglang.launch_server؛
  • إرسال طلب chat completions عادي عبر curl.

يستخدم المثال openai/gpt-oss-120b مع tensor parallelism 8 وexpert parallelism 8، أي أن النموذج يُوزَّع على ثمانية أجهزة. وتُخزَّن KV-cache بصيغة fp8_e4m3، وطول السياق 10 240 رمزًا، ويُعالَج ما يصل إلى 64 طلبًا في وقت واحد، والحد الإجمالي 655 360 رمزًا. هذه إعدادات توضيحية لا توصية لحملكم الفعلي: عليكم ضبط المعاملات بحسب مهمتكم.

ما لم يُذكر

القيد الرئيسي أن الإعلان لا يتضمن أي قياس. فلم تقدّم AWS سرعة التوليد ولا زمن الاستجابة ولا تكلفة الرمز مقارنةً بوحدات GPU. وتبقى عبارة «الجدوى الاقتصادية القوية» لرقائق Trainium ادعاءً تسويقيًا إلى أن تتحققوا منها بأنفسكم. وإصدار الحاوية v0.1.0، أي أنه إصدار مبكر، وقائمة النماذج المدعومة والإعدادات المختبرة ينبغي الاطلاع عليها في مستودع المشروع. ومن المبكر الجزم بأن أي نموذج سيعمل «مباشرة دون إعداد».

الخلاصة العملية للفرق: إذا كنتم تقدّمون النماذج عبر SGLang وتدفعون مقابل نسخ GPU، فمن المجدي تخصيص تجربة تجريبية صغيرة: خذوا حملكم المعتاد، وشغّلوه على Trainium3، وقارنوا سعر المليون رمز وأزمنة الاستجابة. عتبة الدخول منخفضة لأن الـ API لا يتغير ولا حاجة إلى إعادة كتابة شيفرة العميل. أما إذا كنتم تعتمدون على نماذج غير شائعة أو نوى مخصصة لـ CUDA، فتحققوا أولًا من قائمة الإعدادات المدعومة.

وبالنسبة إلى السوق، فهذه خطوة أخرى نحو ألا يبقى الاستدلال مرتبطًا بمصنّع رقائق واحد. وكلما قلّ الجهد اللازم للانتقال، زاد الضغط على الأسعار. لكن الحسم لن يكون للإعلانات، بل لاختبارات الأداء المستقلة على أحمال حقيقية.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف يعمل من الداخل؟

SGLang-Neuron مكوّن إضافي خارج المستودع الرئيسي لـ SGLang (out-of-tree). بعد التثبيت يسجّل منصة neuron عبر نقاط دخول المكوّنات الإضافية، وتُحدَّد المنصة بمتغير البيئة SGLANG_PLATFORM=neuron عند تشغيل الخادم. وتظل نواة SGLang مسؤولة عن خادم الـ API ودورة حياة الطلب وRadixAttention ومحاسبة ذاكرة البادئة المؤقتة. أما كل ما يخص Trainium — النماذج والانتباه ومزيج الخبراء (MoE) وgraph runner — فيتولاه المكوّن الإضافي.

ما أبرز التفاصيل حول كيف تشغّله؟

تعرض وثائق AWS مسارًا قصيرًا. تحتاجون إلى نسخة Amazon EC2 مزوّدة بـ Trainium3 وحاوية pytorch-inference-sglang-neuron. ثم ثلاث خطوات: تشغيل الحاوية عبر docker run مع الخيارين --privileged و--ipc=host؛ تشغيل الخادم بالأمر sglang.launch_server؛ إرسال طلب chat completions عادي عبر curl. يستخدم المثال openai/gpt-oss-120b مع tensor parallelism 8 وexpert parallelism 8، أي أن النموذج يُوزَّع على ثمانية أجهزة.

ما أبرز التفاصيل حول ما لم يُذكر؟

القيد الرئيسي أن الإعلان لا يتضمن أي قياس. فلم تقدّم AWS سرعة التوليد ولا زمن الاستجابة ولا تكلفة الرمز مقارنةً بوحدات GPU. وتبقى عبارة «الجدوى الاقتصادية القوية» لرقائق Trainium ادعاءً تسويقيًا إلى أن تتحققوا منها بأنفسكم. وإصدار الحاوية v0.1.0، أي أنه إصدار مبكر، وقائمة النماذج المدعومة والإعدادات المختبرة ينبغي الاطلاع عليها في مستودع المشروع. ومن المبكر الجزم بأن أي نموذج سيعمل «مباشرة دون إعداد».

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…