كيف تدرّب Gemma-3 على الرياضيات باستخدام GRPO ومحوّلات LoRA

نشر باحثون في 5 يوليو 2026 سير عمل تفصيليًا لضبط نموذج Gemma-3 من Google على مجموعة بيانات GSM8K الرياضية، باستخدام خوارزمية GRPO ومحوّلات LoRA وإطار العمل Tunix.

ما هي GRPO وبماذا تختلف عن الأساليب الكلاسيكية

تنتمي GRPO (Group Relative Policy Optimization) إلى عائلة خوارزميات التعلم المعزّز (reinforcement learning)، وقد جرى تكييفها خصيصًا للنماذج اللغوية. ففي PPO الكلاسيكية يلزم نموذج ناقد مرجعي منفصل، أما GRPO فتقارن عدة إجابات مولَّدة ببعضها داخل مجموعة واحدة، ثم تحدّث السياسة لصالح الحلول الأفضل. وهذا يقلل استهلاك الذاكرة ويجعل التدريب أكثر استقرارًا.

ويلائم هذا النهج المسائل الرياضية بوجه خاص: فالإجابة إما صحيحة وإما خاطئة، ولذلك تُحسب إشارة المكافأة تلقائيًا وبشكل قاطع. أما GSM8K (Grade School Math 8K) فهو اختبار معياري يضم 8 500 مسألة رياضية مدرسية متعددة خطوات الحل. وهو لا يكتفي بمطالبة النموذج بإخراج رقم، بل يتطلب منه إعادة بناء سلسلة الاستدلال، ما يجعله ميدانًا مثاليًا لـ GRPO.

• النموذج الأساسي — Gemma-3 من Google
• مجموعة البيانات — GSM8K (8 500 مسألة مدرسية)
• الخوارزمية — GRPO (Group Relative Policy Optimization)
• إطار العمل — Tunix فوق Hugging Face Transformers
• الضبط — محوّلات LoRA دون تغيير الأوزان الأساسية

كيف يُبنى خط المعالجة خطوة بخطوة

يتألف سير العمل من مراحل منطقية. تبدأ العملية بإعداد البيئة وتسجيل الدخول إلى Hugging Face Hub، ومنه تُحمَّل أوزان Gemma-3. بعد ذلك يُغلَّف كل مثال من GSM8K بقالب «استدلال + إجابة»، فيرى النموذج بنية المخرجات المتوقعة منذ الخطوات الأولى للتدريب ويتعلم اتباعها.

والعنصر المحوري هو دالتا المكافأة. الأولى تتحقق من مطابقة التنسيق: هل تتضمن الإجابة كتلة استدلال ونتيجة رقمية. والثانية تقيّم الدقة الرقمية: هل يطابق الرقم النهائي المرجع الوارد في مجموعة البيانات. وتحسّن GRPO الإشارتين معًا، إذ تولّد مجموعة من الإجابات ثم تنتقي أفضلها.

ولتجنب إعادة تدريب النموذج كاملًا، تُربط بـ Gemma-3 محوّلات LoRA، وهي مصفوفات مدمجة منخفضة الرتبة تُدرَّب بدلًا من الأوزان الأساسية «المجمّدة». والنتيجة أن عدد المعلمات القابلة للتدريب ينخفض بشكل حاد، وتتراجع متطلبات ذاكرة الفيديو إلى حد يجعل سير العمل قابلًا للتنفيذ على عتاد استهلاكي.

وبعد التدريب، يقترح المؤلفون قياس الدقة مع المحوّلات ومقارنتها بنقطة التحقق الأساسية. وبشكل اختياري، يمكن دمج المحوّلات مع الأوزان الأساسية وتصدير النموذج النهائي لنشره.

لماذا يهم هذا المطورين

«محوّلات

LoRA تجعل العملية برمتها ممكنة دون مركز بيانات»، بحسب وصف سير العمل.

قبل بضع سنوات فقط، كان ضبط النماذج الكبيرة يتطلب عشرات الغيغابايتات من ذاكرة الفيديو والوصول إلى عناقيد حوسبة احترافية. أما اقتران GRPO وLoRA فيغيّر ذلك: فالخوارزمية أصلًا أقل استهلاكًا للذاكرة من PPO الكلاسيكية، وتقلّص LoRA عدد المعلمات القابلة للتدريب بمقدار 10–100 مرة بحسب رتبة المحوّل.

والنتيجة العملية أن بإمكان مطوّر يملك بطاقة رسوميات حديثة واحدة أن يأخذ نموذجًا مفتوحًا مثل Gemma-3 ويخصصه لمجال محدد، كالرياضيات أو القانون أو الطب، ويحصل على نموذج متخصص بتحسن قابل للقياس على الاختبار المعياري المستهدف. ويؤدي Tunix دور الغلاف المريح الذي يؤتمت إعداد GRPO وإدارة المحوّلات، ويمكن تطبيق النهج نفسه على أي مجموعة بيانات تتوفر لها إجابات قابلة للتحقق.

ماذا يعني ذلك

يخرج ضبط النماذج بـ GRPO مع LoRA على مجموعات بيانات متخصصة من الأوراق الأكاديمية إلى الأدلة العملية. فقد عرض المؤلفون دورة كاملة، من التحميل إلى التصدير، على نموذج حقيقي واختبار معياري عام، وخفّضوا بذلك عتبة الدخول أمام المطورين الذين يريدون تحسين نموذج مفتوح لمهمة محددة دون بنية تحتية باهظة التكلفة.