Conditional Program تضغط ذاكرة n-gram في DeepSeek من 203 إلى 51 غيغابايت باستخدام 2 بت

تمنح جداول ذاكرة n-gram النموذجَ اللغوي سعة إضافية دون زيادة تُذكر في الحوسبة، إذ تُقرأ لكل توكن بضعة صفوف فقط. لكن الثمن يُدفع في الحجم. فللإجابة عن أي مدخل محتمل، يجب أن يكون الجدول كله متاحًا. وتقترح ورقة جديدة من Hugging Face Daily Papers صيغة Conditional Program (CP) التي تخزّن الصفوف بمعدل بتين لكل رمز، وتعيد بناء الصفوف التي طلبها المدخل فقط. ينخفض حجم جدول DeepSeek من 203 إلى 51 غيغابايت، وتأتي KL-divergence في المخرجات أقل بنسبة 41–63% مما يعطيه التقريب الساذج إلى 2 بت.

كيف تعمل CP

الفكرة ألا يُكمَّم الجدول كتنسور واحد متراص، بل يُوصَف كل صف بسجل مدمج. لكل صف رمز قصير ومقياس محلي. أما البرنامج الذي يحوّل الرمز إلى متجه فهو واحد لجميع الصفوف. يُخزَّن مرة واحدة للجدول كله، وتكاد كلفته لا تُذكر عند احتسابها لكل صف.

ينفّذ المؤلفون ذلك بثلاثة مكونات. الأول شبكة غاوسية (trellis)، أي قاموس ترميز (codebook) مُهيكل يختار فيه الرمز مسارًا عبر الشبكة بدلًا من مدخل في قائمة صريحة. الثاني استعادة النورم: بعد فك الترميز يعود طول المتجه إلى قيمته الأصلية كي لا يُزيح التكميم مقياس التنشيطات. الثالث سجلات صفوف قابلة لفك الترميز بشكل مستقل. وهذا شرط أساسي للذاكرة الشرطية: فقراءة صف واحد لا تتطلب فك ضغط الكتل المجاورة.

وهذا الشرط الأخير تحديدًا ما يميّز المسألة عن ضغط الأوزان المعتاد. ففي ضغط الأوزان يجري فك الترميز على دفعات حسب الطبقات. أما هنا فالوصول عشوائي ونادر، ويجب أن تتحمل الصيغة الوصول العشوائي.

ماذا أظهرت القياسات

حلّل المؤلفون ثلاث عائلات مدرَّبة من ذاكرة n-gram. والاستنتاج مزدوج. فإحصاءات الإحداثيات المنفردة قريبة من التوزيع الغاوسي، ولذلك تناسب الشبكة الغاوسية. وفي الوقت نفسه تبقى بين الصفوف روابط متعلَّمة، ولا يصح اعتبارها ضجيجًا. ومع ذلك، تفوقت الشبكة المشتركة عند ميزانية التخزين نفسها على قواميس الترميز المضبوطة على البيانات، وعلى المتغيرات ذات التصحيح منخفض الرتبة (low-rank residual) التي اختبرها المؤلفون.

أبرز الأرقام من الملخص (annotation):

• الرمز: 2 بت لكل عنصر مع مقياس محلي لكل صف؛
• KL في المخرجات أقل بنسبة 41–63% مقارنة بـ round-to-nearest عند 2 بت؛
• جدول DeepSeek: من 203 غيغابايت إلى 51 غيغابايت، أي نحو 4 أضعاف؛
• الصيغة: برنامج إعادة بناء مشترك وسجلات صفوف مستقلة؛
• التحقق على ثلاث عائلات من n-gram memory المدرَّبة.

وهناك ملاحظة منفصلة بشأن مكسب الأضعاف الأربعة. فلو كان الجدول الأصلي مخزَّنًا بدقة 16 بت، لأعطت البتات الاثنتان الصافيتان ضغطًا بمقدار 8 أضعاف. ولا يوضح الملخص سبب هذا الفارق. قد تكون الكلفة الإضافية للمقاييس وسجلات الصفوف جزءًا من التفسير، لكن ذلك يستحق التحقق منه في النص الكامل للورقة.

من الناحية العملية: أين تذهب الذاكرة المحرَّرة

تنص الورقة نفسها على الأثر العملي الرئيس: حين يوجد الجدول على GPU، يمكن تخصيص الغيغابايتات المحرَّرة لأحمال أكبر. ويعني ذلك سياقًا أطول، وعددًا أكبر من الطلبات المتزامنة، وحجم دفعة (batch) أكبر. فذاكرة بطاقة الرسوميات تصطدم غالبًا بحدود KV-cache، وتتحول وفورات الـ 150 غيغابايت في الجدول مباشرة إلى مساحة احتياطية له.

وأمام الفرق التي تنشر نماذج بذاكرة شرطية خيار آخر. فالاحتفاظ بجدول حجمه 51 غيغابايت كاملًا على المسرّع أسهل من الاحتفاظ بجدول حجمه 203 غيغابايت، ولا حاجة إلى نقله إلى ذاكرة المضيف مع تأخير عند كل وصول. وهذا يُسقط إحدى أبرز الحجج ضد ذاكرة n-gram في بيئة الإنتاج.

ومع ذلك، لا بد من الحذر. فمقياس الجودة في الملخص هو KL لتوزيع المخرجات، وليس مجموعة اختبارات معيارية للمهام. وقبل إدراج CP في حزمة الاستدلال (inference)، يجب فحص سلوك الجدول ذي 2 بت في مهام حقيقية، ومعرفة كلفة فك ترميز الصف على GPU تحت الحمل العالي. لكن الاتجاه واضح: صار للذاكرة الشرطية الآن وسيلة لدفع ثمن السعة بعشرات الغيغابايتات لا بالتيرابايتات.