LM2LM: نموذج Qwen3.8-27B يتفوق على GPT-6-sol في أفكار تحسين النماذج اللغوية الكبيرة وبتكلفة أقل بنسبة 33%

تُناقش منذ زمن فكرة أن تطوّر الشبكات العصبية شبكاتٍ عصبية أخرى بوصفها طريقًا إلى التحسين الذاتي التكراري. وقدّم فريق مؤلفي LM2LM نسخة عملية منها: درّبوا نموذجًا لغويًا بالتعلم المعزز (RL) على توليد اقتراحات فعّالة لتحسين النماذج اللغوية. وفي الاختبار على مهام محجوزة في ثماني بيئات تطوير، انحدارية ذاتيًا وانتشارية، تفوق Qwen3.8-27B على GPT-6-sol. وخسر GPT-6-sol حتى مع 300 سجل تجريبي حقيقي في السياق، بينما كلّفت عملية توليد البيانات في LM2LM أقل بنسبة 33%.

لماذا يصعب بناء مكافأة صادقة للفكرة؟

العقبة الرئيسية هنا اقتصادية. فلكي يتعلم النموذج اقتراح تحسينات جيدة، يحتاج RL إلى تقييم عشرات الآلاف من الاقتراحات. وكل اقتراح منها يتطلب في الحد الأقصى تشغيل تدريب كامل للنموذج. وإذا احتسبنا عشر ساعات GPU لكل تشغيل، فستستهلك المكافآت وحدها مئات الآلاف من ساعات GPU. هذه ميزانية غير واقعية لمعظم المختبرات، ولذلك تحتاج إلى بديل أرخص.

لكن لهذا البديل مشكلته الخاصة. فالتقدير البديل (surrogate) يظل موثوقًا ما دامت السياسة (policy) تولّد اقتراحات تشبه تلك التي بُني عليها. وما إن يبدأ التحسين بإزاحة توزيع الاقتراحات، حتى تعثر السياسة على اقتراحات يبالغ البديل في تقديرها. وهذا reward hacking بصورته الكلاسيكية: يتعلم النموذج إرضاء المُقيِّم بدل تحسين النماذج الحقيقية.

نموذج عالم بحثي ومطابقة مع الواقع

تعالج LM2LM المشكلتين معًا بربط عنصرين. الأول هو research world model (RWM): وهو LLM مجمّد تُقدَّم إليه في السياق سجلات تجارب حقيقية. وانطلاقًا منها يتنبأ بالمكسب الذي سيحققه اقتراح جديد. يعمل RWM بوصفه نموذج مكافأة (reward model) لـ RL، ويستبدل بآلاف التدريبات الكاملة استدعاءً واحدًا للنموذج.

العنصر الثاني هو المطابقة الدورية. تُنفَّذ فعليًا الاقتراحات الصادرة عن السياسة الحالية التي منحها RWM أعلى التقديرات، ثم تُضاف النتائج المقيسة إلى سياق RWM. وبهذا يرى المُقيِّم تحديدًا الجزء من فضاء الأفكار الذي انتقلت إليه السياسة، ويعيد معايرة نفسه في المواضع التي قد تخدعه فيها. أما أكثر المرشحين إثارة للشك، أي أولئك الذين نالوا تقديرات مرتفعة، فيُتحقَّق منهم بتشغيل حقيقي.

المعاملات الرئيسية للدراسة:

• السياسة: Qwen3.8-27B المدرَّب بالتعلم المعزز (RL)؛
• نموذج المكافأة: LLM مجمّد (RWM) مع سجلات تجريبية حقيقية في السياق؛
• خط الأساس: GPT-6-sol التي مُنحت 300 سجل حقيقي في السياق؛
• البيئات: ثماني بيئات لتطوير النماذج اللغوية، انحدارية ذاتيًا وانتشارية؛
• التقييم: تنفيذ فعلي للاقتراحات على مهام محجوزة؛
• التوفير: تكلفة توليد البيانات أقل بنسبة 33%؛
• التعميم: الانتقال إلى عائلة نماذج لم تظهر أثناء التدريب.

ومن المفيد التوقف عند شروط المقارنة. فقد حصل GPT-6-sol على تلميح قوي يتمثل في 300 سجل حقيقي، ومع ذلك تفوّق عليه نموذج أصغر حجمًا اكتسب هذه القدرة بالتدريب. ويبدو أن نقل الخبرة المتراكمة عبر تدريب السياسة أكثر فاعلية من نقلها عبر سياق طويل لدى نموذج أكثر عمومية.

أين يفيد ذلك عمليًا؟

بالنسبة إلى الفرق التي تجري تجارب كثيرة على تدريب النماذج، تكمن القيمة الأكبر هنا في أن سجلات التشغيلات السابقة تتحول إلى أصل. فالسجلات التي توثّق أي تغييرات في المعاملات الفائقة أو البيانات أو المعمارية نجحت، يمكن استخدامها سياقًا لـ RWM ومصدرًا لإشارة التدريب لدى مولّد الأفكار. وتُنفَق التشغيلات المكلفة فقط على فحص المرشحين الأكثر وعدًا.

ثمة أيضًا استنتاج حذر. فالمخطط لا يعمل إلا بانضباط: ودون تحقق منتظم عبر تشغيلات حقيقية سيبدأ البديل بالمبالغة في تقدير الأفكار، وستسير السياسة خلفه. وسيتعيّن إدراج ميزانية التجارب الحقيقية في خط الإنتاج (pipeline) بوصفها بند إنفاق دائمًا. ويشير الانتقال إلى عائلة نماذج غير مألوفة إلى أن الخبرة المتراكمة غير مرتبطة بمعمارية واحدة، لكن على الفرق مع ذلك أن تتحقق منها بنفسها على منصاتها الخاصة.