قاموس مجمّد بحجم 16 ميغابايت يعادل نظيره القابل للتدريب في نماذج LLM الصغيرة

في نموذج Gemma 3 270M، يشغل جدول التضمينات 168 مليوناً من أصل 268 مليون معامل، أي ما يقارب ثلثي حجم النموذج بأكمله. تساءل مؤلفو دراسة جديدة، أُدرجت ضمن قائمة Hugging Face Daily Papers، عن الفائدة الفعلية التي يشتريها هذا الجدول الضخم، واستبدلوه بجدول مجمّد: شفرات بدقة 512 بت، بحجم 16 ميغابايت، ودون وجود أي معامل قابل للتدريب. بعد ذلك، درّب الفريق جسم النموذج المستند إلى بنية Gemma من الصفر على 2.05 مليار توكن، مرة باستخدام قاموس تقليدي وأخرى باستخدام القاموس المجمّد. في اختبارات LAMBADA وHellaSwag وPIQA، أظهرت النسخة ذات الجدول المجمّد أداءً مساوياً أو أفضل، بينما اقتصر تفوق النسخة القابلة للتدريب على اختبار ARC-Easy وحده.

لماذا أصبح القاموس بند الإنفاق الأكبر؟

تطغى مساحة القاموس في النماذج الصغيرة على كل ما سواها. تبقي أساليب التكميم (quantization) عادةً على التضمينات بدقة 16 بت؛ لذا، بعد ضغط بقية أجزاء الشبكة العصبية، يستحوذ جدول المفردات تحديداً على معظم حجم الملف، ويغدو القاموس نفسه العائق أمام أي تقليص إضافي لحجم النموذج.

اعتمد الباحثون جدول تضمينات مدرّباً مسبقاً، وأسقطوا أبعاده لمرة واحدة باستخدام تحليل المكونات الرئيسية (PCA) ثم حوّلوه إلى قيم ثنائية بناءً على الإشارة الرياضية. نتج عن ذلك مجموعة شفرات بدقة 512 بت بحجم 16 ميغابايت. يظل هذا الجدول ثابتاً أثناء التدريب دون أن يتطلب حساباً للتدرجات (gradients). لا تمنح النسخة القابلة للتدريب سوى مكسب مقداره 0.20 nat في دالة خسارة التحقق (validation loss)، غير أنها تكلف زيادة في المعاملات القابلة للتدريب بمقدار 2.6 ضعف. ولا تكاد تظهر هذه الفجوة إطلاقاً في الاختبارات القياسية العملية.

بنية ثلاثية وسرعة فائقة على الحواسيب المحمولة

دمج الباحثون القاموس المجمّد لاحقاً مع بنية نموذج ثلاثية الحالة عبر BitNet b1.58. انكمش حجم النموذج بأكمله إلى 46 ميغابايت فقط، وحافظ في اختباري LAMBADA وPIQA على مستويات أداء تضاهي نموذج الفاصلة العائمة (float). أما على المعالج المركزي (CPU) لحاسوب محمول، فيولّد النموذج ما بين 615 و740 توكناً في الثانية ولا يشغل سوى 62 ميغابايت من الذاكرة. وبالمقارنة، فإن صيغة 8-بت GGUF لنموذج الفاصلة العائمة على llama.cpp تعمل ببطء أشد بخمس إلى ست مرات، وتتطلب ذاكرة أكبر بسبعة أضعاف.

أبرز أرقام الدراسة:

• جدول تضمينات Gemma 3 270M: 168 مليوناً من أصل 268 مليون معامل.
• القاموس المجمّد: شفرات 512 بت، حجم 16 ميغابايت، و0 من المعاملات القابلة للتدريب.
• بيانات التدريب: 2.05 مليار توكن، متطابقة تماماً لكلا النسختين.
• تكلفة الجدول القابل للتدريب: معاملات أكثر بـ 2.6 ضعف مقابل تقليص خسارة التحقق بـ 0.20 nat فقط.
• حجم النموذج الثلاثي بالكامل: 46 ميغابايت، مع استهلاك 62 ميغابايت من الذاكرة أثناء التشغيل.
• السرعة على معالج حاسوب محمول: 615–740 توكناً في الثانية.

الكلمات النادرة والتوكنات الجديدة

تكمن النتيجة الأكثر إثارة للاهتمام في نهاية ذيل التوزيع الإحصائي؛ إذ يتفوق الجدول المجمّد بمقدار 1.7 إلى 2.3 nat عند التعامل مع الكلمات النادرة. وتزداد النتائج إثارة عند توسيع القاموس، حيث أضاف الباحثون 10000 كلمة جديدة بعد انتهاء مرحلة التدريب. لم يفقد النموذج ذو الشفرات المجمّدة سوى نحو 3% من كفاءته، بينما انهار أداء النموذج ذي الجدول القابل للتدريب بنسبة 43%. يعود السبب في ذلك إلى أن التوكنات الجديدة تكتسب شفرات من الفضاء الهندسي نفسه الذي اعتاد النموذج العمل داخله، بدلاً من تلقي متجهات عشوائية غير مهيأ للتعامل معها.

مع ذلك، لا تخلو التجربة من محددات؛ فقد أُجريت على بنية وحيدة، وبمجموعة بيانات صغيرة تقتصر على 2.05 مليار توكن، ونموذج يقارب 270 مليون معامل. وبالتالي، لا يمكن الجزم استناداً إلى الورقة بما إذا كان هذا التأثير سيتكرر على النطاقات الأكبر. ويؤكد المؤلفون أنهم أتاحوا الأوزان، والبيانات، وكافة الإجابات في التقييمات، ما يتيح التحقق الذاتي من صحة هذه الأرقام.

أين تكمن الفائدة العملية؟

توضح النتائج لمن يطورون نماذج تعمل على أجهزة تفتقر إلى وحدات معالجة الرسوميات (GPU) أن حجم القاموس ينبغي اعتباره ميزانية حسابية مستقلة بذاتها، لا مجرد منتج ثانوي لاختيار أداة تقسيم النصوص (tokenizer). وطالما أن الجدول المجمّد يحافظ على الجودة في LAMBADA وHellaSwag وPIQA، يصبح من الأجدى تخصيص المعاملات القابلة للتدريب لصلب النموذج. إن نموذجاً بحجم 46 ميغابايت يعمل بسرعة مئات التوكنات في الثانية على حاسوب محمول عادي يعد مثالياً لمهام الإكمال التلقائي دون اتصال بالإنترنت، والمعالجة النصية المحلية، والمساعدات الذكية المدمجة.

وتبرز ميزة إضافية تتمثل في إمكانية تزويد النموذج بمصطلحات متخصصة بعد التدريب دون خسائر تُذكر، وهو أمر بالغ الأهمية للمجالات الضيقة مثل الطب، والقانون، وهندسة البرمجيات. ورغم ذلك، يتعين قبل التطبيق العملي التحقق من المهام المشابهة لـ ARC-Easy، حيث لا تزال الجداول القابلة للتدريب تحتفظ ببعض التفوق.