WAKMan: مدير تخزين مؤقت لخوادم نماذج اللغة الكبيرة يختار استراتيجيته بنفسه ويرفع معدل النجاح بنسبة 5 نقاط نسبية

لماذا لا تنجح قاعدة واحدة مع جميع الحالات

تستهلك خوادم نماذج اللغة الكبيرة جزءًا كبيرًا من قدرتها الحسابية في إعادة معالجة السياق نفسه. إذا بدأ طلبان بنفس جزء النص — مثل تعليمات النظام أو سجل المحادثة — يمكن للخادم حساب "المفاتيح" و"القيم" الداخلية للنموذج لهذا الجزء مرة واحدة، ثم إعادة استخدام النتيجة الجاهزة الموجودة في ذاكرة بطاقة الرسوميات، بدلًا من إعادة الحساب من جديد. يُعرف هذا بإعادة استخدام البادئة (prefix reuse)، وهو يسرّع الاستجابات فعليًا ويقلّل تكاليف التشغيل.

المشكلة أن ذاكرة بطاقة الرسوميات محدودة، ويجب تحرير مساحتها باستمرار من خلال التخلي عن السجلات القديمة في هذا التخزين المؤقت. والقاعدة المستخدمة لاختيار ما يتم التخلي عنه تحدد مباشرة عدد المرات التي يمكن للخادم فيها إعادة استخدام البيانات المحسوبة مسبقًا. أظهر باحثون من جامعة ماريلاند وCapital One أنه لا توجد قاعدة عامة صالحة لكل الحالات — واقترحوا نظام WAKMan الذي يختار الاستراتيجية المناسبة بنفسه من خلال رصد حركة المرور الفعلية.

حركة المرور إلى خوادم نماذج اللغة الكبيرة تكون عادة مختلطة: أسئلة فردية بلا ذاكرة للرسائل السابقة، ومحادثات متعددة الأدوار بسجل محادثة، وسيناريوهات وكيلة (agentic) ينفّذ فيها نظام الذكاء الاصطناعي بنفسه سلسلة من الخطوات المتتالية في ثوانٍ.

تتميّز هذه الأنواع الثلاثة من الطلبات بأنماط مختلفة جذريًا في إعادة استخدام البيانات:

• خطوات الوكيل تعود إلى السياق المشترك بشكل شبه فوري، في غضون ثوانٍ، ولذلك تُفضَّل قاعدة "التخلي عن الأقدم" (LRU) — وهي المعيار الافتراضي في محرك vLLM الشائع.
• الطلبات الثابتة الشائعة (مثل تعليمات النظام للخدمات المستخدمة بكثرة) والمحادثات الطويلة تعود إلى سياقها بعد عدد كبير من طلبات أخرى غير مرتبطة بها. بالنسبة لها، ما يهمّ ليس حداثة الاستخدام بل تكراره — وهنا تتفوق قاعدة S3FIFO، التي تحمي البلوكات المطلوبة بكثرة من الإزاحة بسبب "ضجيج" عشوائي.

اختبر الباحثون القاعدتين على 20 تدفقًا من الطلبات المختلطة اصطناعيًا بنسب متفاوتة من السيناريوهات الفردية ومتعددة الأدوار والوكيلة. تفوقت LRU على S3FIFO في المزيجات الموجّهة نحو الوكلاء، محققة ما يصل إلى 12% إصابات إضافية في التخزين المؤقت، لكنها خسرت بنسبة تصل إلى 22% في المزيجات التي يغلب عليها الحوار والطلبات المتكررة. والأكثر من ذلك، حتى مع ثبات تكوين حركة المرور، يكفي تغيير معيار واحد فقط — مثل متوسط عدد الردود في المحادثة أو طول نص الطلب الفردي — لتبديل الفائز. في نفس مزيج الطلبات، فازت LRU مع محادثات قصيرة من ردّين، بينما فازت S3FIFO مع محادثات من 8 ردود، بفرق بلغ 15.4 نقطة نسبية.

كيف يعمل WAKMan

فكرة WAKMan هي عدم تخمين نوع حركة المرور مسبقًا، بل التحقق منها باستمرار عمليًا. يحتفظ النظام، إلى جانب الخادم الحقيقي، بنسختين "ظليّتين" من التخزين المؤقت — واحدة بقاعدة LRU والأخرى بقاعدة S3FIFO — ويعيد تشغيل سجل الطلبات الأخيرة للفترة الزمنية المنقضية عبرهما. تفوز الاستراتيجية التي حققت على نفس مجموعة الطلبات أكبر عدد من التطابقات مع البيانات المخزّنة مسبقًا. ويتبدّل الخادم إليها حتى الفحص التالي.

لا يحتاج WAKMan لذلك إلى معرفة محتوى الطلبات، ولا نوعها، ولا رقم الرد في المحادثة — فهو يستخدم فقط بصمات التجزئة لبلوكات البيانات التي يحسبها vLLM بالفعل في وضعه العادي. هذا مهم لأن الخادم غالبًا ما يكون عاجزًا فعليًا عن تحديد نوع الطلب: فسجل المحادثة يتم تجميعه من جانب العميل، ومتطلبات الخصوصية وفصل البيانات تمنع الخادم من "قراءة" محتوى الطلبات لتخمين طبيعتها.

النتائج والقيود

في تجارب أُجريت على نموذج Gemma، المُشغَّل عبر vLLM على أربع بطاقات رسوميات من نوع NVIDIA RTX PRO 6000، حقّق WAKMan بمعدل 5 نقاط نسبية إضافية في إصابات التخزين المؤقت مقارنة بقاعدة LRU المعتمدة افتراضيًا في vLLM. ومن بين الاستراتيجيات الثلاث المختبرة — LRU الخالصة، وS3FIFO الخالصة، وWAKMan الديناميكية — أظهر WAKMan أصغر فرق متوسط وأصغر فرق أقصى مقارنة بالتخزين المؤقت المثالي ذي السعة غير المحدودة، الذي يمكنه نظريًا الاحتفاظ بكل شيء.

يتمثّل الضعف الأساسي لهذا النهج في تأخّر الاستجابة: فقرار تغيير الاستراتيجية لا يُتخذ فوريًا، بل بعد انتهاء الفترة الزمنية المنقضية، وإذا تغيّرت طبيعة حركة المرور بشكل مفاجئ مباشرة بعد التبديل، فستُعالج بعض الطلبات في تلك الفترة بواسطة استراتيجية غير مثالية. يشير الباحثون أيضًا إلى إمكانية إضافة استراتيجيات أخرى للتخلي عن التخزين المؤقت إلى نظامهم، بشرط توافر طريقة لمحاكاة عملها دون عتاد حقيقي — وبالتالي فإن مجموعة "المرشحين" للاختيار ليست محصورة بـ LRU وS3FIFO فقط.

بالنسبة للفرق التي تُشغّل منتجات نماذج لغة كبيرة بحركة مرور مختلطة — حيث يُجري بعض المستخدمين محادثات طويلة، ويستخدم آخرون سيناريوهات وكيلة، ويطرح آخرون أسئلة فردية فقط — فإن الاستنتاج عملي: فاستراتيجية تخزين مؤقت ثابتة ومُبرمَجة بشكل صلب تخسر الأداء بشكل شبه مضمون في جزء من حركة المرور، ومن المنطقي تضمين آلية تبديل تكيّفية على مستوى البنية التحتية منذ البداية، بدلًا من اختيار "القاعدة الصحيحة الواحدة" نهائيًا.