OPTIC يضغط per-layer embeddings في Gemma 4 E4B بمعامل 100 ويحتفظ بـ97,8% من الجودة

أظهر باحثون من VILA-Lab أن جداول per-layer embeddings (PLE) في Gemma 4 E4B يمكن ضغطها بنحو 100 مرة تقريبًا دون خسارة تُذكر في الجودة. تحتفظ طريقة OPTIC بنسبة 97,8% من نتيجة نموذج BF16 غير المضغوط، بحسب المجموع على سبعة اختبارات معيارية. أما أفضل المكمِّمات الكلاسيكية الستة، وهو product quantization، فلا يحقق عند درجة الضغط نفسها سوى 66,3%. وفي الوقت ذاته، تنخفض ذاكرة GPU المستهلكة على بطاقة RTX 4090 بنسبة 29,7%، ولا يزيد زمن التشغيل بأكثر من 0,40%.

لماذا أصبحت جداول التضمين مشكلة قائمة بذاتها

يتزايد في النماذج اللغوية اتجاه لزيادة السعة لا عبر الحوسبة داخل المحوّل (transformer) فحسب، بل عبر التضمينات (embeddings) أيضًا. وتُعد per-layer embeddings في Gemma 4 مثالًا على هذا النهج. ففي إصدار E4B تمثّل 35,2% من إجمالي المعلمات. هذه حصة ضخمة، وهي تقع في الذاكرة التي تكاد تكون دائمًا شحيحة على الجهاز.

ومن هنا تنشأ المهمة: الحفاظ على المكسب الذي توفره التضمينات الكبيرة، مع إدخال النموذج ضمن ميزانية نشر محدودة. وعند الضغط بمعامل 100، تصل الطرق الكلاسيكية إلى سقف لا تتجاوزه. فهي ترمّز كل متجه توكن–طبقة بشكل مستقل، فيتبقى لكل متجه نحو خمسة بايتات. ولا يستطيع رمز بهذا الصغر أن ينقل قدرًا كبيرًا من المعلومات. كما تبقى العلاقة بين الطبقات غير مستغلة.

رمز واحد لكل توكن بدل رمز منفصل لكل طبقة

يعتمد OPTIC (Output-Path-fitted, Token-shared Indexed Codes) تصميمًا مختلفًا. فيُخزَّن لكل توكن صف واحد من الرموز المكمَّمة، مشترك بين جميع الطبقات. وفي كل طبقة يفكّه مفكّك تآلفي (affine) خاص بها، فيعيد بناء المتجه لتلك الطبقة تحديدًا. وهكذا تُنفق ميزانية البايتات مرة واحدة لكل توكن وتتوزع على الطبقات.

يتعلق الجزء الثاني من الفكرة بما ينبغي مواءمته. فالرموز والمفكّكات لا تُضبط على المتجهات المخزَّنة نفسها، بل على مسار خرج PLE: يمر المتجه عبر gate وoutput projection، ويُقيَّم الضغط بحسب الناتج بعدهما. وتتطابق دالة الهدف مع الطريقة التي يستخدم بها النموذج التضمينات فعليًا، ولذلك لا تُهدر الدقة على تفاصيل لا تؤثر في الخرج.

الأرقام الواردة في الورقة

• تشكّل PLE نسبة 35,2% من معلمات Gemma 4 E4B.
• عند الضغط بنحو 100× يتبقى لكل متجه توكن–طبقة قرابة خمسة بايتات.
• BF16 E4B عند ~100×: يحتفظ OPTIC بـ97,8% من جودة النموذج غير المضغوط (المجموع على سبعة اختبارات معيارية). أما product quantization، وهو أقوى الطرق الأساسية الكلاسيكية الستة، فيحقق 66,3%.
• عند 594× يحتفظ OPTIC بـ90,5%.
• عند 1002× يحتفظ OPTIC بـ84,1%.
• الإصدار الرسمي من E4B بأوزان خطية 4 بت وتنشيطات 16 بت (W4A16): 96,9% عند ضغط PLE بنحو ~100×.
• استدلال BF16 E4B من الرموز المدمجة عند ~100×: ذاكرة GPU أقل بنسبة 29,7% مع KV-cache نفسه (1 GiB)، وتباطؤ لا يتجاوز 0,40%. أُجري القياس على RTX 4090.

تستحق نتيجة W4A16 اهتمامًا خاصًا. فتكميم أوزان الشبكة الأساسية (backbone) وضغط PLE يعالجان جزأين مختلفين من المسألة، وتدل نتيجة 96,9% على أن أثرهما يتراكم: فـOPTIC لا يتطلب الاختيار بين الأمرين.

لمن يفيد هذا ومتى

الاستنتاج العملي الرئيسي لمن ينشر Gemma 4 E4B على عتاد استهلاكي هو أن PLE لم تعد بندًا لا مفر منه في استهلاك الذاكرة. فتوفير 29,7% من VRAM مع KV-cache نفسه يعني إما التشغيل على بطاقة أصغر، أو إتاحة مساحة أكبر للسياق. أما التباطؤ البالغ 0,40% كحد أقصى فيكاد لا يُلاحظ.

وبالنسبة للمطورين الذين يبنون منتجات ذكاء اصطناعي تعمل على الأجهزة، فإن المبدأ نفسه مثير للاهتمام. فإذا واصلت المعماريات رفع حصة التضمينات في المعلمات، فستكون هي ما يتعين ضغطه. ويقدّم الرمز المشترك لكل توكن مع مفكّكات خاصة بكل طبقة، إضافة إلى المواءمة مع مسار الخرج، قالبًا عمليًا لمثل هذه النماذج.

نشر المؤلفون (Jiacheng Liu وYaxin Luo وXiaohan Zhao وPeng Sun وXinyi Shang وJiacheng Cui وYonina C. Eldar وZhiqiang Shen) الشيفرة وشرحًا للطريقة على GitHub في المستودع VILA-Lab/optic. وتتوفر النسخة الجاهزة بضغط PLE بمعامل 100 على Hugging Face باسم gemma-4-E4B-it-OPTIC-100x، ما يتيح اختبار النتيجة على المهام الخاصة. أما النسخة الأولية من الورقة (preprint) فهي arXiv 2610.31309.