مهندسان يربطان SGLang بمسرّع IBM Spyre في أقل من أسبوع ويرفعان الإنتاجية 3.6 مرة

قد يتحول ربط مسرّع جديد بخادم النماذج اللغوية بسهولة إلى مشروع هندسي قائم بذاته. فلا بد من ضبط العمل مع الذاكرة وحسابات الانتباه (attention) ومعالجة الطلبات، ثم التأكد من أن ذلك كله أسرع فعلًا من الحل الأصلي. أعلن فريق من مهندسين اثنين أنه ربط SGLang بمسرّع IBM Spyre في أقل من أسبوع بمساعدة وكلاء الذكاء الاصطناعي. بلغ حجم الإضافة نحو 1500 سطر، وجاءت الإنتاجية أعلى 3.6 مرة من التنفيذ المرجعي للاستدلال على PyTorch مع torch-spyre. ويعرض المؤلفون هذه النتائج في مدونة PyTorch.

يكمن الاهتمام العملي هنا في طريقة تنظيم العمل نفسها. فقد كان لدى المهندسين دعم جاهز للعتاد ومثال على تكامل آخر. وزُوّد الوكلاء بالشيفرة الموجودة وبالواجهات المحددة التي كان عليهم ربطها بها. وهذا نموذج مفيد لأي فريق ينقل الاستدلال إلى عتاد مختلف: كيف يحصر المهمة ويستفيد من التطويرات المتراكمة.

مم تألف التكامل

Spyre هو مسرّع من IBM مخصص للاستدلال في المؤسسات. تسجّله مكتبة torch-spyre بوصفه جهازًا في PyTorch وتربطه بـ torch.compile. لذلك فإن جزءًا من العمل مع العتاد متاح أصلًا عبر آليات PyTorch القياسية.

والركيزة الثانية هي التكامل القائم بين Spyre وvLLM. ومنه أُخذت تنفيذات الانتباه، ومعالجة أشكال التنسورات، وتجميع المدخلات حسب الحجم، ونهج تخصيص الذاكرة لذاكرة KV المؤقتة. تخزّن هذه الذاكرة بيانات وسيطة كي لا يعيد النموذج حسابها عند توليد كل رمز (token) تالٍ.

وفّر SGLang نقاط الربط: تسجيل الجهاز، وتنفيذ الانتباه، وإدارة ذاكرة KV، واختيار العمليات الحسابية. وقد عدّل وكلاء الذكاء الاصطناعي الشيفرة لتلائم هذه الواجهات. أما مجدوِل الطلبات والحلقة الرئيسية للخدمة فبقيا مكونين جاهزين من SGLang.

واحتاج الأمر أيضًا إلى أربعة تصحيحات صغيرة في SGLang نفسه. فتح اثنان منها مسارات تنفيذ قائمة لا تعتمد على CUDA، وسجّل الاثنان الآخران جهاز Spyre وتنفيذًا للانتباه لا يحتاج إلى Triton. ويرى المؤلفون أن بعض هذه التغييرات سيفيد مسرّعات أخرى أيضًا.

لماذا يجب أن يتذكر الخادم بداية الطلب

لنتخيل مساعدًا مؤسسيًا: يبدأ كل طلب بالتعليمات الطويلة نفسها، يعقبها سؤال الموظف. فإذا كان الخادم قادرًا على إعادة استخدام الحسابات الخاصة بالبداية المشتركة، فلن يضطر إلى معالجة هذا الجزء من جديد مع كل طلب.

في SGLang يتولى RadixCache مسؤولية المشاركة في البادئات. وفي هذا التكامل عملت الآلية دون تغييرات خاصة بـ Spyre، إذ يتخذ المجدوِل قرار إعادة الاستخدام قبل تسليم العمل إلى المسرّع. وهذا مثال دالّ على إمكانية انتقال إحدى وظائف الخادم إلى عتاد جديد مع منطق الخدمة العام.

وأمكن تفسير توفير الشيفرة بشكل محدد كذلك. فقد بلغ حجم تكامل vLLM الحالي لـ Spyre نحو 3500 سطر. ويعزو المؤلفون نحو ثلثي الفارق مع الإضافة الجديدة إلى إعادة استخدام الصنف الأساسي للانتباه في SGLang. لذا فإن مقارنة أحجام الإضافات وحدها لا تقول الكثير عن إنتاجية الذكاء الاصطناعي: فقد جاء جزء كبير من النتيجة من بنية المكتبات.

ما الذي ينبغي التحقق منه قبل النقل إلى المنتج

تتعلق زيادة الإنتاجية بمقدار 3.6 مرة بالمقارنة مع التنفيذ المرجعي على PyTorch. أما في مقارنة منفصلة مع vLLM على Spyre، فكانت نتائج SGLang مماثلة في الأحمال المقاسة لنموذجي Granite 3.3 8B وGemma 4 26B A4B. وليس هناك حتى الآن أساس لتعميم هذه الاستنتاجات على أي نماذج وأنماط طلبات.

كما يعتمد التكامل الأولي على المترجم (compiler) وبيئة التشغيل والعمليات العتادية الموجودة. ويصف المؤلفون دعم الأشكال الديناميكية وTriton بأنهما خطوات لاحقة. ولتشغيل المثال يلزم مسبقًا تثبيت بيئة Spyre ومكتبة torch-spyre وإضافة SGLang وتصحيحات التوافق وإعدادها.

والمفيد للمطوّر هنا هو أسلوب صياغة المهمة للوكيل: تقديم تنفيذ عامل للعمليات، وتحديد واجهة الوجهة، والتحقق من النتيجة على عتاد حقيقي. أما مدير المنتج فعليه أن يخصص وقتًا مستقلًا لاختبارات الحمل والصيانة. فأسبوع واحد للوصول إلى تكامل أولي نتيجة مقنعة، لكن الجاهزية لخدمة منتج بعينه ستحتاج إلى تأكيدها بقياساتكم الخاصة.