T-Bank تضبط نماذج LLM بدقة عبر التطور دون تدرجات: أسرع 7,8 مرة على 128 GPU

أظهر فريق T-Bank أنه يمكن ضبط النموذج اللغوي بدقة دون تدرجات، أي دون حساب تصحيح لكل معامل بحسب حجم الخطأ. وهذا الحساب تحديدًا هو ما يجعل وحدات معالجة الرسوميات في العنقود تتبادل البيانات باستمرار، ويستهلك التزامن جزءًا ملحوظًا من الموارد. تعتمد طريقة ESSA الجديدة بدلًا من ذلك على خوارزمية تطورية. وفي المسائل الرياضية ساوت جودتها جودة GRPO، الذي يضبط النموذج بأكمله، مع أنها تضبط عددًا أقل بنحو مليون مرة من المعاملات. ويزداد مكسب السرعة مع حجم العنقود: نحو مرتين (2×) على 16 GPU، وحتى 7,8 مرة على 128.

وهناك عمل آخر من المجموعة نفسها، هو F-GRPO، يحسّن GRPO ذاته. وقد قُدّم البحثان في EMNLP، وهو مؤتمر معالجة اللغات الطبيعية من الفئة A*.

كيف يتعلم النموذج دون تدرجات

يجري الضبط الدقيق المعتاد على النحو التالي. يحل النموذج مسألة، ويحسب النظام الخطأ ثم يستخرج التدرج، أي إشارة تبيّن الاتجاه الذي ينبغي تحريك كل معامل نحوه ليتحسن الجواب. وحين يجري التدريب على عشرات أو مئات من وحدات معالجة الرسوميات، تتبادل هذه الوحدات التدرجات في كل خطوة. فالحسابات سريعة، لكن الشبكة بين الوحدات كثيرًا ما تصبح عنق الزجاجة.

تعمل ESSA بشكل مختلف، ومنطقها أشبه بالانتخاب في تربية السلالات:

• يؤخذ النموذج الأصلي وتُنشأ منه نسخ كثيرة تختلف عنه قليلًا؛ • تُختبر كل نسخة على مجموعة من المسائل ويُحصى عدد ما حلّته؛ • تصبح النسخ الأنجح أساسًا للجيل التالي؛ • وتتكرر الدورة خطوة بعد خطوة.

ولا يتغير النموذج كله في هذه العملية، بل مجموعة صغيرة فقط من معاملات مهايئات LoRA. وLoRA مصفوفات إضافية صغيرة تُوصَل بالنموذج الأساسي، بينما يبقى النموذج نفسه دون مساس. لذلك تتعامل ESSA مع عدد من المعاملات أقل بنحو مليون مرة مما يتعامل معه GRPO. وGRPO طريقة شائعة للتعلم المعزز: يولّد النموذج عدة صيغ جواب للمسألة الواحدة، وتُقارن مكافآتها بعضها ببعض.

لماذا يفيد العنقود الكبير الخوارزمية التطورية

تُقيَّم كل نسخة من النموذج بمعزل عن الأخريات. لا تحتاج وحدات معالجة الرسوميات إلى تبادل يُذكر، إذ يكفي أن تُجمع نتائج الاختبارات في النهاية. ولهذا تتوقف الشبكة بين الوحدات عن إبطاء التدريب.

يورد الباحثون الأرقام التالية للسرعة مقارنة بالتدريب بطريقة GRPO:

• نحو مرتين (2×) على 16 GPU؛ • حتى 7,8 مرة على 128 GPU.

الصورة واضحة. كلما زاد عدد الوحدات ارتفعت كلفة التزامن في التدريب المعتاد، وزاد مكسب الطريقة التي لا تكاد تحتاج إلى تزامن. وهذه حجة قوية للعناقيد الكبيرة.

تحفظ: المقارنة في الجودة أُجريت على مسائل رياضية. أما أداء ESSA في أنواع أخرى من المهام، مثل الشيفرة البرمجية أو الحوارات الطويلة، فغير واضح من الوصف.

F-GRPO: كيف نحافظ على تنوع الحلول

يعالج العمل الثاني مشكلة أخرى في GRPO. بعد الضبط الدقيق كثيرًا ما يعتاد النموذج على طرق صحيحة محددة للحل، ويقل اختياره لغيرها. وفي مسألة واحدة لا يمثل ذلك مشكلة، لكن حين يلزم تجريب محاولات كثيرة للعثور على حل صحيح واحد على الأقل، يصبح التنوع مهمًا.

تغيّر F-GRPO المعاملات بدرجة أقل في المسائل السهلة التي يحلها النموذج بثقة أصلًا. وبفضل ذلك لا ترسّخ مسارًا واحدًا معتادًا، وتحافظ على طرق جواب مختلفة.

اختُبرت النتيجة على Qwen2.5-7B وبمقياس pass@256، وهو احتمال أن يوجد جواب صحيح واحد على الأقل بين 256 جوابًا مولَّدًا. وفي المسائل الرياضية ارتفع المؤشر من 64,1% إلى 70,3%. ولا تتطلب الطريقة تكاليف إضافية للتدريب.

ماذا يعني ذلك للمهندسين والأعمال

ما دام الضبط الدقيق مقيَّدًا بعدد وحدات GPU وبسرعة الشبكة بينها، أمام الفرق طريقان: شراء مزيد من العتاد أو تغيير الخوارزمية. وهذان العملان يعرضان الطريق الثاني من جانبين.

• تقلل ESSA الاعتماد على تبادل البيانات بين الوحدات، وتحقق مكسبًا في العناقيد الكبيرة. • ترفع F-GRPO فرصة العثور على جواب صحيح بين محاولات كثيرة دون رفع كلفة التدريب. • يحافظ النهجان على الجودة أو يحسّنانها دون الحاجة إلى إعادة بناء النموذج بأكمله.

ينبغي تقييم النتائج بحذر: فالأرقام مستمدة من الرياضيات، وقد تختلف الحال في مهام أخرى. لكن الاتجاه واضح. يمكن تحسين الضبط الدقيق بالحفاظ على تنوع الحلول وباعتماد طريقة مختلفة لتحديث النموذج، لا بشراء وحدات رسوميات جديدة وحده. المصدران الأصليان: arXiv 2507.04453 وarXiv 2602.06717.