LoopOPD يعلّم النماذج اللغوية الحلقية التحسّن عبر دوراتها الخاصة

اقترح فريق مؤلفي الورقة البحثية المنشورة مسبقًا arXiv:2610.10623 طريقة LoopOPD، وهي طريقة لما بعد التدريب مخصصة للنماذج اللغوية الحلقية (LoopLM). في هذه النماذج تُطبَّق مجموعة واحدة من المعاملات مرات عدة، فيزداد «عمق» الاستدلال دون زيادة عدد الأوزان. فكرة العمل أن الدورة النهائية في النموذج تعرف أكثر من الدورة الوسيطة، وبالتالي يمكن أن تكون معلّمًا لها. ولا حاجة هنا إلى نموذج خارجي ولا إلى بيانات مغلقة. أُجريت التجارب على نماذج Ouro-Thinking. وأظهرت تحسنًا في الرياضيات وانتقال التحسينات إلى الاستدلال العام والبرمجة، مع أن التدريب اقتصر على بيانات رياضية.

ما المشكلة التي تعالجها الطريقة

توفّر نماذج LoopLM في عدد المعاملات: فبدلًا من إضافة طبقات جديدة، يجري النموذج تمريرات إضافية عبر الأوزان نفسها. لكن مرحلة ما بعد التدريب تطرح صعوبات لهذه النماذج. فبحسب المؤلفين، تعاني الأساليب القائمة من نقطتي ضعف. المكافأة على الإجابة النهائية تعطي إشارة متناثرة، وتعميمها على كل دورة مكلف. أما التقطير (distillation) من نموذج خارجي فيصطدم بمدى توافر معلّم مناسب، وبعدم اتساق السياق: إذ يرى المعلّم والطالب المسألة بطريقتين مختلفتين.

تتجاوز LoopOPD هذين القيدين. تؤدي سياسة الدورة النهائية المجمَّدة دور معلّم يملك «امتياز الحساب»: فلديه ببساطة عدد أكبر من التكرارات خلفه. أما الذي يتعلم فهو الدورة الوسيطة، وذلك على إجابات ولّدتها بنفسها (on-policy). وتأتي الإشارة كثيفة على مستوى الرموز (tokens)، لا على نتيجة الحل فحسب. ويتطابق توزيع البيانات هنا مع التوزيع الذي يعمل عليه الطالب فعليًا.

المعلّم الديناميكي

في النسخة الأساسية يكون المعلّم مجمَّدًا. لكن المعاملات المشتركة تتحدّث، فتتغير الدورة النهائية معها. وفي D-LoopOPD يُحدَّث المعلّم بانتظام كي يواكب النموذج. ويسمي المؤلفون ذلك التحسين الذاتي المتكرر: فالطالب المحسَّن، باعتماده على الأوزان المشتركة، يقوّي الدورة النهائية أيضًا، وهي بدورها ترفع سقف المعيار في الخطوة التالية.

وللعمل جانب نظري كذلك. يصف المؤلفون كيف تنتشر تحديثات التقطير عبر أعماق الدورات، ويستخلصون شروطًا كافية تمنح فيها خطوة واحدة تحسنًا محليًا على عمقين في آن واحد. وهذا مهم لأن الأوزان مشتركة: فعند تحسين دورة واحدة قد يسهل إضعاف أخرى.

يُعرف من الملخص (abstract) ما يلي:

• الطريقة: تقطير on-policy عابر للدورات، حيث المعلّم والطالب عمقان مختلفان لنموذج LoopLM واحد؛
• النسختان: LoopOPD بمعلّم مجمَّد وD-LoopOPD بمعلّم قابل للتحديث؛
• النماذج: عائلة Ouro-Thinking؛
• بيانات التدريب: الرياضيات فقط؛
• النتائج: تحسن في الاستدلال الرياضي، ومكسب إضافي لدى D-LoopOPD، وانتقال إلى الاستدلال العام وتوليد الشيفرة البرمجية؛
• لا حاجة إلى معلّم خارجي ولا إلى معلومات مميّزة؛
• ستُنشر الشيفرة ونقاط الحفظ (checkpoints) بعد قبول الورقة.

ما الذي يبقى غير واضح

لا يتضمن الملخص أرقامًا محددة: لا أحجام النماذج، ولا أسماء المعايير (benchmarks)، ولا مقدار التحسن. ولا يمكن تقدير حجم الأثر اعتمادًا عليه، إذ يلزم النص الكامل والجداول. والنسخة v1 ورقة منشورة مسبقًا لم تخضع للمراجعة العلمية بعد، والشيفرة مغلقة حاليًا، ولذلك لا يستطيع أحد الآن إعادة إنتاج النتائج.

ما الذي ينبغي أن يتحقق منه الممارسون

إذا كنتم تعملون مع LoopLM أو تخططون لمعماريات متكررة، فهذه النقاط التي ينبغي النظر فيها في النسخة الكاملة. أولًا، كم تكلّف خطوة تقطير واحدة من حسابات إضافية مقارنةً بالتعلم المعزز (RL) القائم على المكافأة. ثانيًا، كم مرة يُحدَّث المعلّم في D-LoopOPD، وهل ثمة انجراف يسير فيه الطالب والمعلّم معًا في اتجاه خاطئ. ثالثًا، إلى أي مدى يبقى الانتقال من الرياضيات إلى البرمجة مستقرًا خارج عائلة نماذج واحدة. وإذا تبيّن أن التقطير الذاتي عبر العمق يعمل على نطاق واسع، فهو بديل رخيص للمعلّمين الخارجيين في النماذج الصغيرة ذات الحساب المتكرر. وإلى أن تُنشر نقاط الحفظ، من الأفضل اعتبار النتيجة فرضية واعدة.