ستانفورد تنشر محاضرة عن تدريب LLM: 16 فصلًا من التدريب المسبق إلى GRPO

نشرت Stanford Online المحاضرة الثالثة من مقرر CME295 Transformers & LLMs لخريف 2026، وهي مكرسة بالكامل لكيفية تدريب النماذج اللغوية الكبيرة. يضم التسجيل 16 فصلًا، من التدريب المسبق الأساسي إلى on-policy distillation. أما الفصل الأخير، وهو المثال الشامل، فيبدأ عند 1:27:47، أي أن المحاضرة تمتد أكثر من ساعة ونصف بوضوح. يقدّم المقرر الأستاذان المساعدان (adjunct) في ستانفورد أفشين وشيرفين أميدي.

يقتصر وصف الفيديو على فهرس الفصول، دون نص المحاضرة ولا الشرائح. لذلك نعرض أدناه بنية المادة وما يقف خلف كل مصطلح، لا إعادة سرد لما قاله المحاضران.

من التدريب المسبق إلى midtraining

يخصَّص النصف الأول من المحاضرة للأساسيات. يفتتح فصل التدريب المسبق النقاش، وتأتي بعده مباشرة الإنتروبيا المتقاطعة (cross-entropy). هذه هي دالة الخسارة التي يقوم عليها التنبؤ بالرمز التالي: كلما انخفض الاحتمال الذي منحه النموذج للاستكمال الصحيح، زادت العقوبة عليه.

يلي ذلك فصل خلائط البيانات (data mixtures). وهنا يُحسم في أي نسب تُمزج نصوص الويب والشيفرة البرمجية والرياضيات ومصادر أخرى. تتوقف قدرات النموذج إلى حد كبير على هذه النسب، بينما لا تنشر المختبرات تفاصيلها عن طيب خاطر.

ويُفرد فصل مستقل لـ midtraining، وهي مرحلة وسيطة بين التدريب المسبق وما بعد التدريب. وتُستخدم فيها عادةً بيانات أكثر انتقاءً. بعد ذلك يأتي التدريب على السياق الطويل، حيث يُدرَّب النموذج على العمل بنافذة أوسع بكثير من نافذة المرحلة الرئيسية.

ما بعد التدريب: SFT وLoRA والتفضيلات

تبدأ الكتلة الثانية بـ supervised finetuning. يُعاد تدريب النموذج على أزواج «تعليمة — إجابة مرجعية»، فيتحول من متنبئ بالنص إلى مساعد. وإلى جانبه تأتي LoRA: تُجمَّد الأوزان الأساسية، وتُدرَّب إضافات صغيرة منخفضة الرتبة. وهذا يقلص متطلبات الذاكرة بشكل حاد، ويتيح إعادة تدريب النماذج على عتاد محدود.

تتدرج فصول preference tuning من النظرية إلى الأساليب:

• صياغة برادلي — تيري، وهي نموذج احتمالي للمقارنات الزوجية تُبنى عليه نماذج المكافأة (reward models)؛
• RLHF، حيث يُحسَّن النموذج وفق مكافأة مُدرَّبة باستخدام التعلم المعزز؛
• DPO، الذي يستغني عن نموذج مكافأة منفصل ويُحسِّن التفضيلات مباشرة.

Reasoning وGRPO والتقطير

تتناول الكتلة الأحدث نماذج الاستدلال. يقود فصل reasoning إلى GRPO (Group Relative Policy Optimization). وهو نوع من RL تُحتسب فيه أفضلية الإجابة نسبةً إلى مجموعة من الإجابات عن الطلب نفسه. ولهذا لا حاجة إلى نموذج value منفصل، وبالتالي يصبح التدريب أرخص من حيث الذاكرة.

ويُخصَّص آخر فصل نظري لـ on-policy distillation. يولّد الطالب الإجابات بنفسه، ويقيّمها المعلّم، فينتج عن ذلك إشارة تدريب كثيفة دون تكلفة RL المرتفعة.

أبرز معطيات المحاضرة

• المقرر: CME295 Transformers & LLMs، الفصل الدراسي الخريفي 2026، المحاضرة 3.
• الحجم: 16 فصلًا، ويبدأ المثال الشامل عند 1:27:47.
• مواضيع pre-train: التدريب المسبق، والإنتروبيا المتقاطعة، وخلائط البيانات، وmidtraining، والسياق الطويل.
• مواضيع post-train: SFT وLoRA وبرادلي — تيري وRLHF وDPO.
• المواضيع المتقدمة: reasoning وGRPO وon-policy distillation.
• المحاضران: أفشين أميدي وشيرفين أميدي.

لمن هذه المحاضرة وكيف تُشاهد

تفيد المحاضرة المهندسين الذين يستخدمون LLM في منتجاتهم ويريدون فهم مصدر الفروق بين النسخة الأساسية ونسخة instruct ونسخة reasoning من النموذج نفسه. ومن المريح مشاهدة الفصول بحسب الطوابع الزمنية. وللدخول السريع إلى الموضوع تكفي الكتلة من 0:31:47 إلى 1:05:38، من SFT إلى DPO. أما من يتابع نماذج الاستدلال فالأفضل أن يبدأ من 1:12:08.

نُشر المنهج الدراسي (السيلابس) وجدول المقرر على cme295.stanford.edu، وتتوفر بقية المحاضرات في قائمة التشغيل على Stanford Online. وإذا كنت تعيد تدريب نماذج مفتوحة، فقارن فصلَي LoRA وDPO بخط أنابيبك الخاص: فهاتان الطريقتان هما الأكثر إتاحة خارج المختبرات الكبرى.