ruGPT3XL تحصل على سياق 8k: النموذج المُستعاد يتجاوز حد 2k دون خسائر تُذكر

حصل نموذج ruGPT3XL، المُستعاد من نقطة حفظ (checkpoint) قديمة لـ Megatron-LM، على نافذة سياق كاملة بطول 8 آلاف رمز بدلًا من 2 ألف رمز في النسخة الأصلية، ولم تتراجع جودته في النصوص القصيرة تقريبًا. وفي الوقت نفسه أصلح مؤلف المشروع خطأً جوهريًا في آلية الانتباه، كان السبب في ظهور النسخة المبكرة من النموذج أسوأ بوضوح من الأصل، رغم أنها كانت تعمل رسميًا وتولّد النصوص.

بدأ المشروع كعملية استعادة تقنية لنموذج روسي قديم: نُقلت أوزان ruGPT3XL إلى صيغة Hugging Face، وأُعدّت نسخة GGUF لـ llama.cpp، ثم بدأت الاختبارات. وفي هذه المرحلة تحديدًا تبيّن أن التحويل لا يعمل بشكل صحيح تمامًا. فبدلًا من sparse attention الأصلية، كان النموذج يستخدم فعليًا dense attention العادية من GPT-2، ولذلك تدهورت الجودة بحدّة في التسلسلات الطويلة. وسرعان ما أكّد مقياس perplexity ذلك: فقد أظهر الفحص الأول قيمة PPL تبلغ 50.1، في حين أن القيمة المعلنة لـ ruGPT3XL الأصلية هي 12.05.

وبعد استعادة alternating sparse attention تغيّر الوضع جذريًا. فقد انخفضت PPL إلى 11.68، أي عاد النموذج ليقترب من القيم الأصلية، وصار يحسب الانتباه كما صُمّم في البنية الأصلية. وبالتوازي، كان لا بدّ من تحديث الدعم في llama.cpp: فالتصحيح (patch) السابق كان ينقل الأوزان إلى GGUF لكنه لم ينفّذ sparse attention نفسها، ولهذا كانت النسخة المحلية تحسب بدورها وفق المخطط الكثيف. وأصلح المؤلف إضافةً إلى ذلك خطأً في القناع (mask) للدفعات التي تضم أكثر من مثال واحد، وأضاف تسريعًا عبر SDPA وtorch.compile وTriton. وعلى RTX 4090 منح ذلك زيادة في سرعة التدريب بنحو 1.85 مرة مقارنةً بالتنفيذ الأساسي بنمط eager.

كان الهدف الرئيسي للمرحلة التالية عمليًا: إزالة القيد القديم البالغ 2048 رمزًا، الذي كان يعيق العمل مع المحادثات والمستندات الطويلة. لكن تغيير الرقم في ملف الإعدادات لا يكفي في حالة ruGPT3XL. فالنموذج يستخدم learned absolute positional embeddings، وهي لا تستطيع الاستقراء بشكل سليم إلى مواضع جديدة دون إعادة تدريب، كما أن مخطط sparse attention يعتمد بدوره على الحد الأقصى لطول السياق. لذلك جرى التوسيع على مراحل: أولًا من 2k إلى 4k، ثم من 4k إلى 8k. وللمواضع الجديدة طُبّق تبليط (tiling) للتضمينات الموضعية حتى لا تتضرر التسلسلات القصيرة التي سبق تعلّمها، ومُزجت مجموعة البيانات من أمثلة طويلة وقصيرة بنسبة 60 إلى 40. واستغرق التدريب على مجموعة بيانات Gazeta نحو 2.6 ساعة في الخطوة الأولى و3.9 ساعة في الثانية.

جاءت النتيجة دقيقة وليست استعراضية. ففي نافذة 2k الأصلية سجّلت نسخة 8k النهائية PPL قدرها 11.77 مقابل 11.68 للنموذج الأساسي، أي إن التراجع لم يتجاوز 0.09. وعند 4k بلغ المؤشر النهائي 11.99، وعند نافذة 8k الكاملة 13.00، وهو أمر يبدو جيدًا جدًا مقابل تضخيم السياق أربعة أضعاف. أما من ناحية الذاكرة فقد بدت التجربة قابلة للتطبيق أيضًا: فبفضل sparse attention لم يتحول نمو الاستهلاك إلى كارثة، وتسع التدريب والاستدلال (inference) على RTX 4090 بذاكرة VRAM تبلغ 48 ГБ.

وخلال التدريب على 8k ظهرت مشكلة عملية أخرى هي تجزّؤ ذاكرة CUDA، لكن أمكن تجاوزها بضبط expandable_segments، فانخفض الاستهلاك الأقصى من 46.8 إلى 38.5 ГБ. وتتراجع سرعة التوليد بالطبع مع طول الموجّه (prompt)، لكن النموذج يحافظ على نحو 38 رمزًا في الثانية حتى عند سياق 8k الكامل، ما يعني أن الأمر ليس مجرد حيلة بحثية، بل سيناريو محلي قابل للعمل فعليًا.

ويمثل هذا إشارة مهمة لقطاع المصادر المفتوحة الناطق بالروسية: فالنماذج القديمة لا يجب بالضرورة أن تُؤرشف فحسب، بل يمكن إيصالها إلى حالة عمل حديثة، إذا استُعيدت التفاصيل المعمارية بدقة ولم يُقتصد في التحقق. وفي حالة ruGPT3XL لا يتعلق الأمر بتحديث شكلي، بل بزيادة حقيقية في الفائدة: فقد صار النموذج أقرب إلى الأصل من حيث الجودة، وحصل على دعم في الأدوات الشائعة، وتعلّم العمل بسياق طويل دون خسارة جدية في المهام القصيرة.