NVIDIA Vera تضاعف سرعة Modal Sandboxes: حتى 4281 مهمة في الدقيقة على 150 حاوية

عادةً ما يدور الجدل حول المعالجات بمصطلحات سرعة الخيط الواحد. لكن إذا كنت تشغّل مئات بيئات العزل لوكلاء الذكاء الاصطناعي على جهاز واحد، فهذا ليس المقياس المناسب. حصل فريق Modal على أول خادم بمعالج Arm من NVIDIA Vera، وبيّن لماذا يكون السلوك تحت الحمل أهم.

لماذا تُعدّ بيئات العزل حالة خاصة

تقضي بيئة العزل الخاصة بالوكيل معظم وقتها في الخمول: تنتظر ردّ نموذج اللغة الكبير (LLM). ثم يحدث فجأة npm install أو grep ثقيل، فيقفز الحمل على المعالج 10 أضعاف. ولا يُعرف مسبقًا ما الذي سيرسله النموذج للتنفيذ، لذا يتعين تخمين حجم الموارد.

تتيح Modal وضع burst: تحجز قدرة تناسب الحمل المعتاد (P50) لا أسوأ لحظة، وتمتص الذروات الطاقةُ الاحتياطية على المضيف. هذا يوفر المال على العملاء، لكنه يفاقم مشكلة الجيران المزعجين: مستأجر يبطّئ آخر.

التأخيرات هنا مكلفة. الوكلاء الخلفيون مثل Ramp Inspect يعملون أسرع، فيكون المستخدمون أكثر رضًا ويُستهلك وقت معالج أقل. وفي تدريب RL لا يزال النمط المتزامن هو الأشيع: تنتظر وحدة GPU حتى تكتمل مروحة rollouts كاملة في بيئات العزل. ثانية المعالج تساوي عمليًا ثانية خمول لوحدة GPU.

كيف جرى القياس

لا يوجد معيار جاهز لحمل «الوكلاء»، لذا بنت Modal معيارها الخاص: Agentless Agent Bench. وهو يتألف من 50 حلًّا مرجعيًا من Terminal-Bench مع فحوصاتها، أُزيلت منها جميع الاستدعاءات الشبكية. وبقيت عمليات معالجة بحتة: التجميع البرمجي، والبحث في الملفات، وgit، ومحاكاة الأجهزة. وكل ذلك يعمل في حاويات Docker متوازية.

الاختبار الأول، مهام منفردة على جهاز حر، خيّب أمل المؤلفين أنفسهم. كانت Vera غالبًا أفضل، لكن ليس دائمًا وبلا فارق كبير.

الاختبار الثاني، الإنتاجية عند 50 و100 و150 حاوية، أعطى صورة مختلفة. على نواة منطقية واحدة تنجز Vera 86 مهمة في الدقيقة مقابل 51 لـ Intel GNR و59 لـ AMD Zen 5. وعلى 79 نواة تنجز 4238 مهمة، وذروتها نحو 4281 على 99 نواة. أما Intel GNR فيصل إلى هضبة عند نحو 2500، وAMD Zen 5 عند نحو 1500. ويصل Graviton 5 إلى نحو 3470 على 96 نواة.

مفاضلة زائفة

عادةً كلما كثّفت تعبئة المهام ارتفعت الإنتاجية (throughput) لكن ساء زمن استجابة كل منها. ومجدوِل Modal يُغرى باستمرار بإعادة تعبئة المضيفات. وبحسب المؤلفين، يكون هذا التأثير أضعف على Vera: تحت الحمل العالي تصمد الشريحة أفضل من منافسيها.

القيود والخلاصة

هذا معيار من المورّد المستهلك نفسه وليس اختبارًا مستقلًا، وهو اصطناعي: فقد حُذفت الاستدعاءات الشبكية. والمنحنيات، بحسب البيانات، ليست ملساء في كل مكان: فمثلًا لدى Intel GNR في الآلة الافتراضية هبوط عند 124 نواة. إضافة إلى ذلك، لا تزال Vera غير مستخدمة في الإنتاج لدى Modal. ولدعم Arm سيتعين تغيير البنية التحتية ونظام بناء الصور، إذ عملت الشركة دائمًا على x86 فقط.

ماذا يفعل الممارس؟ إذا كنت تبني منصة للوكلاء أو لـ RL-rollouts، فلا تختر العتاد وفق اختبارات الخيط الواحد. شغّل مزيجك الخاص من المهام الحقيقية مع تعبئة كثيفة واحسب تكلفة المهمة المكتملة لا سعر النواة. وتحقق كذلك من أن صورك واعتمادياتك تُبنى لمعمارية arm64: فهذا الترحيل هو ما سيصبح بند النفقات الرئيسي.