NVIDIA تطرح DynoSim لتحسين إعدادات خدمة نماذج LLM

قدّمت NVIDIA أداة DynoSim للتحسين التلقائي لإعدادات الأنظمة التي تخدم نماذج اللغة الكبيرة. وتساعد الأداة المهندسين على إيجاد التركيبة المثلى من عشرات المعلمات عبر محاكاة حدود Pareto (Pareto frontier)، وهي مجموعة من الإعدادات التي يؤدي فيها تحسين مؤشر واحد حتمًا إلى تراجع مؤشر آخر.

المشكلة: مئات المتغيرات

ضبط LLM serving ليس متغيرًا واحدًا، بل منظومة كاملة من المعلمات المتفاعلة. فكل خيار يؤثر في غيره، وغالبًا ما ينقل التحسين الموضعي الاختناق إلى جزء آخر من النظام. فعلى سبيل المثال، قد تؤدي زيادة عدد workers للمعالجة المتوازية إلى ارتفاع في latency بسبب نقص الذاكرة. أما اختيار backend مختلف فيستلزم إعادة ضبط scheduler.

أبرز المعلمات التي يجب مراعاتها في آن واحد:

• اختيار خلفية النموذج (vLLM وTensorRT وTensorRT-LLM وغيرها)
• شكل tensor parallelism (كيفية توزيع الحسابات على عدة وحدات GPU)
• التوازن بين مرحلتي prefill (تجهيز السياق) وdecode (توليد الإجابة)
• عدد العمليات والخيوط (threads) على المضيف
• استراتيجية المجدوِل (batch size والتجميع الديناميكي)
• سياسة توجيه الحركة بين العقد
• سلوك KV cache وإدارة الذاكرة
• عتبات التوسّع التلقائي (autoscaling) والتوسّع الأفقي

كان المهندسون في السابق يصلون إلى الإعداد الأمثل بالتجربة والخطأ. وكان ذلك يعني أسابيع من الاختبار على عتاد GPU باهظ الثمن، وتكاليف مرتفعة، واستحالة فحص جميع التركيبات.

الحل: محاكاة حدود Pareto

تحاكي DynoSim فضاء المعلمات تلقائيًا وترسم خريطة للأداء. وبدلًا من الاختبار على عتاد حقيقي، تعتمد الأداة نموذجًا فيزيائيًا للعتاد والبرمجيات، وتتنبأ بـ latency وthroughput واستهلاك الذاكرة.

وفي المخرجات، تقدّم DynoSim حدود Pareto، أي مجموعة من الإعدادات غير المهيمَن عليها. فعلى سبيل المثال، قد يحقق أحد الإعدادات latency قدرها 50ms عند throughput قدره 1000 req/sec، بينما يحقق إعداد آخر 100ms عند 2000 req/sec. ويختار المهندس الإعداد بحسب أولوياته: إذا احتاج إلى latency منخفضة يأخذ الأول، وإذا احتاج إلى أقصى throughput يأخذ الثاني، وإذا أراد توازنًا يبحث عن إعداد وسط بينهما.

تستغرق العملية عادةً ساعات من الحوسبة، لا أسابيع من التجارب على عتاد حقيقي. وهذا يسرّع دورة التطوير ويتيح للمهندسين فحص مئات التركيبات من المعلمات.

ماذا يعني ذلك

تنقل أدوات مثل DynoSim تحسين LLM serving من نطاق التجريب المحض إلى مجال منهجي علمي. وباتت الشركات قادرة على اختيار الإعدادات على أساس مدروس بدلًا من التجارب شبه العشوائية. وفي الخدمات السحابية الكبيرة، يخفّض حتى التحسن الطفيف في الكفاءة التكاليف بمئات الملايين من الدولارات سنويًا، ولذلك تتحول أدوات مثل DynoSim سريعًا إلى معيار في الصناعة.