SpatialLM-Mini يسرّع التدريب على سياق 16K بمقدار 2.47 مرة على RTX 3050

يكلّف السياق الطويل الكثير قبل أن يبدأ النموذج في تقديم أي فائدة. ففي الانتباه الكامل يمكن لكل رمز جديد أن يتعامل مع جميع الرموز السابقة، ويزداد حجم الحسابات تربيعيًا. في تجربة SpatialLM-Mini قُيِّد هذا الوصول: أُبقي على أقرب المواضع وعدد قليل من الروابط البعيدة. وعلى بطاقة RTX 3050 بذاكرة 8 غيغابايت تدرّب النموذج الأولي أسرع بمقدار 2.47 مرة من نموذج Transformer المرجعي عند نافذة من 16,384 رمزًا.

بالنسبة للمطوّر هناك نقطة عملية محددة: تقليل عدد الروابط قد يسرّع التجارب على التسلسلات الطويلة حتى على بطاقة رسومات غير باهظة. لكن النتيجة تخص نموذجًا صغيرًا ومجموعة نصوص واحدة ونواة حسابية محددة. أما فائدة الطريقة «المكانية» تحديدًا في حساب الانتباه فتبقى مسألة مفتوحة حتى الآن.

كيف تختار الرموز من تنصت إليه

تخيّل مستندًا طويلًا. في الانتباه السببي المعتاد يستطيع رمز في النهاية أن يأخذ في الاعتبار مباشرةً أي موضع سابق. أما في SpatialLM-Mini فقائمة المواضع المتاحة محددة مسبقًا: الرمز نفسه وعدد من أقرب أسلافه والمواضع على مسافات 1 و2 و4 و8 وما بعدها. ويُمنع الوصول إلى المستقبل.

بعد ذلك يقرر النموذج مقدار الانتباه الذي يوليه لكل جار مسموح به. ولهذا تُحوَّل الحالة المخفية إلى إحداثيات ثلاثية الأبعاد قابلة للتعلّم لكل من الاستعلام والمفتاح. وكلما قلّت المسافة بينهما ارتفع وزن الرابط المحتمل؛ وتعدّل معاملات إضافية قابلة للتعلّم هذا الحساب.

تُستخدم الإحداثيات هنا وسيلةً لحساب الأوزان. فالنموذج لا يبحث عن أقرب الرموز في المستند كله ولا يستخدم أنوية RT في بطاقة الرسومات. قائمة الجيران ثابتة، أما توزيع الانتباه داخل هذه القائمة فيعتمد على النص.

يقلّل هذا الرسم البياني الحسابات لكنه يحدّ من الوصول المباشر إلى الحقائق البعيدة. لذلك اختبر المؤلف أيضًا نموذجًا هجينًا: كتلتان مكانيتان تتناوبان مع كتلتين من الانتباه الكامل. وهذا يتيح لجزء من الطبقات الوصول إلى كامل السياق السابق.

ماذا أظهرت المقارنة على 8 غيغابايت

دُرّبت ثلاثة نماذج بنحو 9.3 مليون معامل لكل منها من الصفر على رواية «كبرياء وتحامل» لجين أوستن. كان لكل نموذج أربع طبقات وسياق واحد متطابق وثلاث تشغيلات بحالات عشوائية ابتدائية مختلفة. ومن GPT-2 استُخدم المُجزِّئ (tokenizer) فقط.

ضمن ميزانية 180 ثانية من التدريب المقيس، عالج نموذج Transformer المرجعي 13,126 رمزًا في الثانية، والنموذج المكاني 32,364، والهجين 18,725. وسجّل الهجين أدنى متوسط خطأ على جزء الاختبار. غير أن النماذج السريعة تمكنت خلال هذا الوقت من معالجة رموز أكثر وإجراء تحديثات أكثر.

عند المقارنة بعد 100 خطوة متساوية تقلّص الفارق في الخطأ بشكل ملحوظ. احتاج النموذج المكاني إلى 50.64 ثانية، وTransformer إلى 125.10 ثانية. والمكسب الرئيسي المؤكَّد في هذه التجربة هو سرعة التحديثات على التسلسل الطويل.

أما الذاكرة فكان الأمر مختلفًا: ارتفع الحد الأقصى للذاكرة التي خصصتها PyTorch من نحو 499 إلى 671 ميبيبايت. يُنشئ التنفيذ المتناثر موترات وسيطة عند جمع الجيران، بينما يستخدم الانتباه الكامل نواة محسَّنة. ولا تعكس هذه الأرقام كامل ذاكرة الفيديو المشغولة في الحاسوب.

ما الذي يجب التحقق منه قبل النقل إلى مشروعك

عمل نموذج Transformer المرجعي عبر PyTorch Efficient Attention. وكان FlashAttention غائبًا عن نسخة Windows المستخدمة. لذلك لا يمكن نقل معامل التسريع تلقائيًا إلى نظام آخر أو إلى مقارنة مع أنوية أخرى.

وثمة فجوة أهم: فقد غُيِّرت في آن واحد مجموعة الروابط وطريقة حساب أوزانها. ولفهم إسهام الإحداثيات يلزم الرسم البياني المتناثر نفسه مع الضرب القياسي المعتاد أو أوزان ثابتة. وحتى ذلك الحين قد تُفسَّر الميزة في المقام الأول بتقليل عدد التفاعلات.

كما أن استيعاب 16 ألف رمز لا يثبت أن النموذج قادر على استخراج الحقيقة المطلوبة من بداية المستند. ولهذا يلزم اختبار منفصل. ولم تُقَس سرعة التوليد، ولا يوجد KV-cache في النموذج الأولي، والتدريب القصير على رواية واحدة لا يسمح بالحكم على الملاءمة للمهام العملية.

الخطوة العملية التالية هي تكرار المقارنة على مجموعة نصوصك وعتادك، ثم إضافة اختبار ضابط بالرسم البياني نفسه دون إحداثيات. وبحسب وصف المؤلف، فإن الشيفرة والإعدادات والقياسات الأولية متاحة في مستودع SpatialLM-Mini. وبالنسبة لفريق يبحث في التدريب الرخيص للسياق الطويل، فهذه نقطة انطلاق مفيدة لتجربته الخاصة.