مطوّر يدرّب نموذجًا لغويًا بحجم 260 مليون معامل من الصفر على RTX 4060 بذاكرة 8 غيغابايت

تتبيّن أغلب قصص «النموذج الخاص» في الواقع أنها مجرد ضبط دقيق (fine-tuning) لأوزان نماذج الآخرين. أما هنا فالأمر مختلف. فقد أنجز مؤلف سلسلة dpp-gpt كل شيء بنفسه: محلّل الرموز، والتدريب المسبق، وSFT، وRL، والاختبارات المعيارية. العتاد: بطاقة RTX 4060 منزلية بذاكرة 8 غيغابايت. الإصدار الأحدث 2.2 Pro بـ259 مليون معامل لا يتفوق على النماذج الصغيرة الاحترافية، لكن هذا المشروع يُظهر جيدًا كيف تبدو دورة التدريب الكاملة دون ميزانية مختبر.

ما بداخله وعلى ماذا دُرّب

البنية مألوفة من Llama: RMSNorm وRoPE وSwiGLU وGQA. للنموذج 20 طبقة وعرض 1024 وسياق بطول 8192 رمزًا ومفردات BPE خاصة من 16384 رمزًا، تُعامَل فيها الأرقام كرموز منفصلة. اللغات: الروسية والإنجليزية والفرنسية.

استغرق التدريب المسبق نحو 31 مليار رمز. والمزيج مُعدّ بعناية: ويكيبيديا بثلاث لغات (23%)، ونصوص الويب من CulturaX، وشيفرة Python، والرياضيات (14%)، والشعر، والترجمات، وبيانات اصطناعية للعمل على النصوص.

أكثر الأجزاء إثارة هي الرياضيات. يولّدها سكربت، وتُكتب الإجابة بحسب المنازل: المئات، ثم العشرات، ثم الآحاد، ثم الناتج. ويتحقق Python من كل مثال، لذا لا توجد أخطاء في البيانات. وهكذا يتعلم النموذج حساب أعداد حتى 40 خانة: إنه يكرر خوارزمية ولا يخمّن الإجابة.

نمت مجموعة SFT إلى 60 مليون رمز (نحو 122 ألف حوار). وقد ولّد DeepSeek معظمها تقريبًا عبر OpenRouter، وأعادت الشيفرة التحقق من الإجابات التي تتضمن أعدادًا. وبلغت تكلفة البيانات نحو 3000 روبل. وأُضيف إلى التدريب 32% من بيانات التدريب المسبق كي لا ينسى النموذج أساسه.

RL على 8 غيغابايت: ما نجح وما تعطّل

جرى الحصول على النسخة النهائية عبر GRPO. لكل طلب يكتب النموذج 8 إجابات، ويتلقى مكافأة، ويتعلم من الفروق داخل المجموعة. وتأتي المكافأة إما من الشيفرة (الحساب، واختبارات Python، وJSON، واستدعاء الأدوات) وإما من حَكَم محلي هو Gemma 4 E4B للإنشاء والشعر والحقائق.

ومن الحيل المفيدة ضبط الصعوبة. فإذا كانت المهمة تُحَلّ دائمًا أو لا تُحَلّ أبدًا، تحصل الإجابات الثماني على المكافأة نفسها فلا يوجد تدرّج (gradient). لذلك تُختار هذه الأنواع من المهام بوتيرة أقل، وتلك التي يحل النموذج نحو نصفها بوتيرة أكبر.

ولم يخلُ الأمر من «اختراق المكافأة» (reward hacking) الكلاسيكي. ففي التجارب الأولى كانت الشيفرة تحسب مكافأة النص بحسب مؤشرات غير مباشرة، فتعلّم النموذج الإجابة بإيجاز. وتعطّلت مهام الإنشاء والأسئلة العامة. واضطر المؤلف إلى إضافة حَكَم وإعادة موازنة التدريب.

وعندما انتهت المشكلات الواضحة توقف التحسن: كل نقطة حفظ جديدة تكسب في مكان وتخسر في آخر. وساعد المتوسط البسيط للأوزان: 0.4 · GRPO8 + 0.3 · GRPO9 + 0.3 · GRPO5. وتبيّن أن هذه «الحساء» أفضل من أي نقطة حفظ منفردة.

ومن المتاعب الأخرى أن SFT أضعف الرياضيات. فعلى المعيار الخاص كان النموذج الأساسي يسجل 47.6%، وبعد أول SFT صار 26%، وبعد ضبط المزيج 36.8%.

الأرقام دون تجميل

على المجموعة الخاصة المؤلفة من 2450 سؤالًا ارتفع المتوسط من 8.3 (الإصدار 2.15) إلى 24.2. يتصدر النموذج في الحساب واستدعاء الأدوات، لكنه في المتوسط بمستوى Falcon-H1-Tiny 100M فقط ويأتي خلف Gemma 3 270M. وتحفّظ المؤلف: المجموعة مصممة لصيغه الخاصة وتنحاز له.

وفي الاختبارات الإنجليزية المعتمدة تبدو الصورة أضعف. HellaSwag: 28.9% مقابل 39.3% لـGemma 3 270M و42.9% لـSmolLM2 135M. وGSM8K: 1.8%، وIFEval: 14.1%. أما النموذج الأساسي دون SFT فيعطي النتيجة نفسها تقريبًا في HellaSwag، 28.8%، أي أن سقف الأداء يحدده التدريب المسبق: 31 مليار رمز مقابل تريليونات. ولم يحرّك RL هذه الاختبارات؛ فمكسبه في الحساب والأدوات وJSON والتعليمات.

وتُذكر نقاط الضعف أيضًا: ضرب أعداد من 5–6 خانات صحيح في نحو 30% من الحالات، ويفقد النموذج العدّ بين الرسائل، ولا يلتزم جيدًا بأوامر مثل «أجب بكلمة واحدة»، ولا يفيد بعدُ وضع «التفكير». ويعمل استدعاء الأدوات فقط بالصيغة التي دُرّب عليها.

ما الذي يمكن استخلاصه

أولًا: للمهام الضيقة (المخرجات المنظمة، واستدعاء الدوال، والحساب) تمنح البيانات الاصطناعية القابلة للتحقق والمكافأة عبر الشيفرة مكسبًا ملحوظًا حتى على نموذج صغير جدًا. ثانيًا: إذا كان في مكافأة RL موضع ضعف فسيجده النموذج، لذا لا بد من فحوص متنوعة وحَكَم. ثالثًا: متوسط أوزان نقاط الحفظ المتقاربة لا يكاد يكلّف شيئًا وقد يتفوق على البحث عن «الأفضل». ورابعًا: في المعارف العامة لا ينافس نموذج صغير بميزانية رموز ضئيلة. وخطوات المؤلف التالية: إصدار flash بـ140 مليون معامل بنسبة Python مصحَّحة، ومفردات موسّعة مع انتباه محلي للتسريع.