Phase-HDC يدرّب النموذج دون تاريخ المُحسِّن ويخزّن أقل بـ16–23 مرة من Adam

نشر فريق من الباحثين على arXiv طريقة Phase-HDC التي تتيح تدريب مصنِّف مضغوط فائق الأبعاد (hyperdimensional) مع الاحتفاظ في الذاكرة بالنموذج نفسه فقط. على إحدى عشرة مجموعة بيانات (صور وجداول ونصوص)، يشغل المصنِّف مساحة أقل بـ16–23 مرة من Adam القياسي بصيغة float32، وأقل بـ4–6 مرات من 8-bit Adam. والثمن هو الدقة: نحو خمس نقاط في المتوسط مقارنة بـ float32 Adam.

لماذا يزن المُحسِّن أكثر من النموذج

للنماذج الصغيرة سمة مزعجة: يتطلب التدريب ذاكرة أكبر بكثير من تخزين النتيجة الجاهزة. والسبب هو المُحسِّن. فـ Adam يحتفظ لكل معامل بسجلات عن التدرجات السابقة، أي العزم الأول والعزم الثاني. ويصبح هذا واضحًا بوجه خاص في النماذج ذات المعاملات منخفضة البتات.

تتناول الورقة المصنِّفات فائقة الأبعاد (HDC) التي تكون معاملاتها القابلة للتدريب زوايا ذات عدد قليل من البتات. ويسمي المؤلفون هذه المجموعة «الذاكرة الطورية». وتشغل سجلات المُحسِّن الخاصة بها مساحة تفوق حجم النموذج نفسه بعدة أضعاف. ومن هنا السؤال الذي تبدأ به الورقة: هل يمكن تدريب نموذج كهذا دون تخزين أي شيء سواه؟

خطوة واحدة، عكس التدرج، وفقط إذا كان كبيرًا

تجيب Phase-HDC عن هذا السؤال بقاعدة بسيطة جدًا. في كل تحديث، لا تتحرك الزاوية المخزَّنة أكثر من خطوة واحدة على الشبكة. ويُختار الاتجاه عكس إشارة التدرج الحالي. ولا يتحرك المعامل إلا عندما يكون هذا التدرج كبيرًا بما يكفي. فلا وجود لتاريخ، بل عتبة على القيمة الحالية.

يؤكد المؤلفون أن القاعدة ليست اجتهادًا تجريبيًا (heuristic)، بل حل دقيق لنموذج خسارة من الدرجة الأولى يدفع فيه كل معامل متغيِّر كلفة ثابتة. وبعبارة أخرى، تنشأ العتبة من صياغة المسألة نفسها: لا يستحق المعامل أن يتحرك إلا عندما يفوق المكسب المتوقع في الخسارة (loss) هذه الكلفة.

أبرز النتائج الواردة في الملخص:

• عند تثبيت بقية الظروف (إذ تتغير قاعدة التحديث فقط)، تعادل Phase-HDC في الدقة Adam بعزوم 6 بت، لكنها تخزّن أقل بثلاث مرات؛
• مقارنة بـ float32 Adam يبلغ التوفير 16–23 مرة، ومقارنة بـ 8-bit Adam يبلغ 4–6 مرات؛
• متوسط خسارة الدقة مقارنة بـ float32 Adam نحو خمس نقاط؛
• في ست من إحدى عشرة مجموعة بيانات، تتفوق Phase-HDC في الدقة على 8-bit Adam؛
• في التنبؤ بالنص على مستوى البايت، ينهار 8-bit Adam بينما لا تنهار Phase-HDC.

ماذا أظهرت القياسات داخل التدريب

أكثر ما يلفت في الورقة هو تفسير سبب هذه النتائج. فقد زوّد المؤلفون عمليات التدريب بأدوات قياس، ونظروا في ما تفعله عزوم Adam فعلًا حين يُفرض على المعاملات أن تقع على شبكة متقطعة. وخلصوا إلى أن العزوم تحدد في الأساس ما إذا كان المعامل سيتحرك أصلًا. وهذا قرار ثنائي، يمكن لعتبة على التدرج الحالي أن تتخذه دون أي ذاكرة.

أما التكميم الخشن للعزوم، فعلى العكس، يُفسد هذا القرار تحديدًا. وتتضرر المدخلات النادرة في البيانات: فإحصاءاتها في العزوم ضعيفة، وبعد التقريب تعجز عن التمييز بين «تحرّك» و«لا تتحرك». وهذا يفسر فشل 8-bit Adam على النص البايتي الذي تكثر فيه الرموز النادرة.

أين تفيد الطريقة وأين ما زال الوقت مبكرًا

الاستنتاج العملي حذر. إذا كنت تدرّب نماذج HDC مضغوطة أو تعيد تدريبها على أجهزة ذات ميزانية ذاكرة صارمة، كالأنظمة المدمجة أو سيناريوهات التدريب في موقع التشغيل مباشرة، فيمكن هنا إلغاء كلفة المُحسِّن تقريبًا بالكامل. وفي مثل هذه المهام، قد تكون خمس نقاط من الدقة ثمنًا مقبولًا، كما أن الطريقة أكثر ثباتًا من 8-bit Adam على البيانات النادرة أو غير المتوازنة.

ثمة قيدان يذكرهما المؤلفون أنفسهم. الأول: الدقة أدنى من float32 Adam، لذا فالطريقة ليست بديلًا حيث تُحسب كل نقطة. الثاني: حُسب التوفير بوصفه حالة منطقية، لا ذاكرة عتادية مقيسة. فالمكسب الفعلي على عتاد معيّن يعتمد على تعبئة البيانات والتنفيذ، ولا يزال قياسه مطلوبًا. وأخيرًا، جرى الاختبار على مصنِّفات HDC، ولا تزعم الورقة إمكانية نقل الفكرة إلى الشبكات العصبية التقليدية.

ويبقى من المفيد تذكّر الملاحظة نفسها: في التدريب المتقطع، كثيرًا ما لا يلزم تاريخ التدرجات إلا لاتخاذ قرار «تحرّك أم لا»، ولهذا يكفي التدرج الحالي مع عتبة.