PrefixSim: محاكي مفتوح لذاكرة KV المؤقتة يقارن أكثر من 40 سياسة إخلاء

إذا كنت تشغّل نماذج لغة كبيرة في بيئة إنتاج، فالأرجح أنك سمعت بالفعل عن التخزين المؤقت للبادئات. الفكرة بسيطة: كثير من الطلبات تبدأ بالمحتوى نفسه، مثل موجّه النظام أو وصف الأدوات أو سجل المحادثة. لا داعي لإعادة حساب ذاكرة KV المؤقتة لهذا المحتوى في كل مرة، إذ يمكن حفظها وإعادة استخدامها. لكن ذاكرة GPU محدودة، وعاجلًا أم آجلًا لا بد من إخلاء بعض محتويات الذاكرة المؤقتة. وما تختار إخلاءه يحدد مقدار وقت GPU الذي سيُهدر.

هذه تحديدًا هي المشكلة التي يسعى PrefixSim إلى معالجتها، وهو مشروع أتاحه Juncheng Yang (@1a1a11a). إنه محاكي سريع لذاكرة كتل KV المؤقتة في أنظمة تقديم نماذج اللغة الكبيرة. ونشر مطوّروه معه مجموعتي بيانات تتضمنان سجلات تتبّع لأحمال العمل. لكن ثمة تحفّظ: المنشور الأصلي على X ينقطع في منتصف الكلام، ولذلك نقتصر هنا على ما ورد فيه صراحة. أما التفاصيل، مثل تنسيق سجلات التتبّع والترخيص، فينبغي الرجوع بشأنها إلى مستودع المشروع.

ما المشكلة التي يحلّها؟

صُمّمت سياسات التخزين المؤقت التقليدية، مثل LRU، لصفحات الويب وكتل الأقراص. أما كتل KV فلها خصائص مختلفة. فهي منظّمة على هيئة شجرة بادئات: الكتلة الواقعة في بداية سلسلة تحتاج إليها جميع الكتل التي تليها. وإخلاء كتلة «قديمة» تقع عند الجذر يعني إفقاد فرع كامل قيمته. كذلك، تختلف تكلفة الحساب من كتلة إلى أخرى: فإعادة حساب بادئة طويلة أعلى تكلفة بكثير من إعادة حساب بادئة قصيرة.

لذلك قد يكون المقياس المعتاد، أي معدل إصابة الذاكرة المؤقتة أو hit rate، مضللًا هنا. ويحدّد مطوّرو PrefixSim صراحة الوفر في الحسابات، أو compute savings، بوصفه المعيار الرئيسي: ما مقدار عمل prefill الذي أمكن تجنّبه؟ فقد تحقق سياستان لهما معدل الإصابة نفسه وفرًا مختلفًا جدًا في موارد GPU.

كيف يعمل ذلك عمليًا؟

تخيّل مساعد محادثة بموجّه نظام طويل وعشرات الآلاف من الجلسات يوميًا. تأخذ سجل تتبّع فعليًا للطلبات وتعيد تشغيله عبر المحاكي باستخدام سياسات إخلاء مختلفة. وبحسب مطوّر الأداة، يتجاوز عددها 40 سياسة. وفي النتيجة ترى أيّها يوفّر أكبر قدر من الحسابات ضمن حجم الذاكرة الذي خصصته للتخزين المؤقت.

الكلمة الأهم هنا هي «فعلية». فكثيرًا ما تعطي أحمال العمل الاصطناعية أرقامًا جذابة لا تتكرر في بيئات الإنتاج. لذلك فإن إتاحة مجموعتي بيانات مفتوحتين لسجلات تتبّع أنظمة تقديم النماذج مفيدة في حد ذاتها: إذ تمنح المجتمع أساسًا مشتركًا للمقارنة، بدلًا من مجموعة اختبارات أداء داخلية لا يمكن مقارنة نتائجها ببعضها.

وتكمن قيمة أخرى للمحاكي في تكلفة التجارب. فاختبار سياسة إخلاء على عنقود يعمل في بيئة إنتاج يستغرق وقتًا وينطوي على مخاطر: يتطلب تعديل المحرّك، ونشر التغييرات، وانتظار حركة طلبات ممثّلة للاستخدام الفعلي. أما المحاكاة باستخدام سجل تتبّع محفوظ فتستغرق دقائق ولا تعطّل شيئًا.

كيف تستفيد منه؟

إذا كنت تبني منظومة الاستدلال الخاصة بك أو تضبط vLLM وSGLang ومحركات مشابهة، فإن PrefixSim يتيح لك التحقق مما إذا كنت تفوّت فرصًا لتوفير المال. سجّل تتبّعًا لحمل عملك، وشغّله عبر المحاكي، وقارن سياستك الحالية بالبدائل. إذا كان الفرق في حسابات prefill التي جرى توفيرها ملحوظًا، فهذه حجة لتحسين الذاكرة المؤقتة. وإن لم يكن كذلك، فستعرف على الأقل أن الخيار الافتراضي يلبي احتياجاتك.

أما مسؤولو المنتجات والمؤسسون، فتهمّهم زاوية أخرى: تؤثر كفاءة الذاكرة المؤقتة مباشرة في زمن ظهور أول رمز وفي تكلفة معالجة الطلب. وبالنسبة إلى الخدمات ذات البادئات المشتركة الطويلة، مثل الوكلاء ومساعدي RAG ومساعدي البرمجة، قد يشكّل ذلك بندًا كبيرًا من النفقات.

القيود

يظل المحاكي نموذجًا. فهو لا يأخذ في الحسبان كل ما يحدث داخل محرّك فعلي، مثل تجزؤ الذاكرة، ومجدول المهام، وتكدّس طوابير الطلبات. والنتائج المستخلصة من سجلات تتبّع شركات بعينها لا تنطبق بالضرورة على حمل عملك. كما أننا لم نطّلع بعد على عمليات تحقق مستقلة: حتى وقت النشر، لا يتعدى الأمر إعلانًا على X حصد نحو 7,500 مشاهدة. لكن المشروع، بوصفه أداة ومجموعة بيانات مفتوحة لمجال من مجالات تقديم نماذج اللغة الكبيرة لا يزال محل نقاش ولا يحظى بالتقدير الكافي، يبدو جديرًا بتخصيص أمسية لاستكشافه.