قانون SIMPLE بأربعة معاملات يتنبأ بطاقة استدلال 13 نموذجًا لغويًا كبيرًا على H100 دون معايرة

تُحاسَب خدمات الذكاء الاصطناعي على عدد الرموز (tokens)، لكن تكلفة الرموز ليست متساوية. فكل رمز جديد يدخل إلى KV-cache ويرفع تكلفة جميع الرموز اللاحقة، ولذلك تنمو الطاقة على امتداد التسلسل بصورة غير خطية، رغم أن الرموز تبدو متماثلة. اقترحت مجموعة باحثين من جامعة بولونيا (قسما DEI وDISI) قانون SIMPLE، وهو صيغة مضغوطة من أربعة معاملات تعبّر عن طاقة الاستدلال من خلال المعاملات الفائقة للمعمارية نفسها.

واختُبر القانون على مسارات تشغيل 13 نموذجًا لغويًا كبيرًا كثيفًا من ست عائلات (OPT وLLaMA وGemma وFalcon وQwen2 وGranite)، جرى تشغيلها على وحدات NVIDIA H100. ومن حيث MAPE، أي متوسط الخطأ النسبي للتنبؤ، جاء SIMPLE أدق من SOTA السابق، ودون معايرة لكل نموذج، ما يعني أنه قابل للتطبيق حتى على النماذج التي لم يقِسها أحد.

لماذا لا تصلح النماذج الحالية للتخطيط؟

الاستدلال، لا التدريب، هو الذي يستهلك الجزء الأكبر من طاقة النموذج، إذ يشير الباحثون إلى تقدير يصل إلى 90% من طاقة دورة الحياة. فالنموذج يُدرَّب مرة واحدة، ثم يُشغَّل باستمرار. وفي الوقت نفسه، لا توجد سوى طريقة واحدة لمعرفة تكلفة الرمز في نموذج لغوي كبير لم يُنشر بعد: أن يُبنى ويُشغَّل وتُقاس طاقته. وعند هذه المرحلة يكون اختيار المعمارية قد فات أوانه.

كما أن الهدف نفسه متحرك. فنماذج التفكير تنفق رموزًا إضافية لتحسين الدقة، وسيناريوهات الوكلاء رفعت الطول الوسيط للمُدخل (prompt) من 750–1050 إلى 68 ألف رمز. وفارق الأسعار ملحوظ أيضًا: فقد يكلّف النموذج ذو السعر الأقل للرمز الواحد أكثر في المجموع من نموذج أغلى اسميًا.

وتنقسم النماذج التحليلية السابقة إلى معسكرين. يضبط الأول الطاقة تجريبيًا بحسب طول المُدخل والمُخرج، عبر صيغ خطية وصيغ تتضمن حد تفاعل بين المُدخل والمُخرج. وهي تصف النمط الذي جرى قياسه، لكنها لا تفسّره. أما أدق النماذج المعروفة فتشتق decode بصيغة مغلقة من العمليات الحسابية والوصول إلى الذاكرة، لكن معاملاتها مضبوطة على نموذج لغوي واحد. ولا تدخل في صيغتها صراحةً أعداد الطبقات ولا البُعد المخفي ولا بنية الانتباه. لذلك تلزم إعادة معايرتها لكل نموذج، وهي لا تعرف الفروق بين MHA وGQA.

ما الذي يتضمنه القانون؟

اشتق المؤلفون تعابير مغلقة للتعقيد الحسابي وعدد مرات الوصول إلى الذاكرة أثناء الاستدلال، كلًّا على حدة لآلية Multi-Head Attention (MHA) وآلية Grouped-Query Attention (GQA). وبالاعتماد عليها قارنوا عائلة من النماذج التحليلية بمستويات تفصيل مختلفة. وقدّم SIMPLE أفضل توازن بين الدقة والإيجاز: أربعة معاملات تفصل prefill عن decode، ويُقسَّم decode فيها إلى تكلفة KV-cache وتكلفة حساب الرمز التالي (التمرير الأمامي عبر FFN).

جرى الاختبار على مسارات تشغيل 13 نموذجًا لغويًا كبيرًا كثيفًا من ست عائلات على NVIDIA H100. وخطأ MAPE في القانون أقل منه في SOTA السابق، وقد تحقق ذلك دون معايرة لكل نموذج. أما النسب المئوية الدقيقة لانخفاض الخطأ فلم ترد في النص المتاح من الورقة.

ما الذي يفسّره القانون؟

تنبثق من الصيغة استنتاجات عملية:

• تنمو طاقة prefill تربيعيًا مع البُعد المخفي، بينما يسهم عمق الشبكة بمقدار خطي. ولذلك تعاني النماذج الكبيرة أكثر من غيرها مع المُدخلات الطويلة.
• كلما كان تجميع GQA للمفاتيح والقيم أكثر كثافة، قلّت الطاقة المستهلكة للرمز الواحد مقارنةً بـ MHA القياسية. وهذا من أنجع وسائل التوفير أمام مصمّم المعمارية.
• يتيح القانون إيجاد طول المُخرج الذي تبلغ عنده طاقة الرمز الواحد حدها الأدنى بالطريقة التحليلية. وزيادة ميزانية الرموز المخصصة للتفكير تدفع الطول إلى ما بعد هذا الحد الأدنى، فتنمو الطاقة بوتيرة فوق خطية. وتزداد الدقة مع الميزانية أيضًا، لكن الطاقة تنمو أسرع، ولذلك يبلغ مقياس Intelligence per Joule (الدقة مقسومة على طاقة الطلب) ذروته عند ميزانية وسطى، ويتراجع عند طرفي النطاق.
• طلبات الوكلاء أغلى بوضوح من الطلبات العادية، إذ ينمو فيها حد prefill وحد KV-cache معًا. ويزيل prefix caching الجزء الأكبر من تكلفة prefill، لكن حد KV-cache يبقى. ولهذا يظل طلب الوكيل المخزَّن مؤقتًا أغلى من الطلب غير الوكيلي.

القيود

يغطي العمل النماذج الكثيفة ونوعين من الانتباه هما MHA وGQA. أما MLA فيتناولها المؤلفون بوصفها مجرد صورة من صور GQA. وأُجريت القياسات على نوع واحد من وحدات GPU هو H100، بنمط البطاقة المنفردة، ودون أخذ حجم الدفعة (batch) أو الاستدلال الموزَّع في الحسبان. ولم تدخل معماريات MoE في الاختبار. والخلاصة للمهندسين والممارسين أن القانون يصلح لتقدير الطاقة والتكلفة قبل تشغيل النموذج، ولمقارنة المعماريات. وهو يساعد على اختيار ميزانية التفكير، وعلى معرفة طول السياق الذي يتوقف عنده سيناريو الوكيل عن أن يكون مجديًا. كما نشر المؤلفون تطبيقًا تفاعليًا للقانون.