MLE-World يتنبأ بنتيجة تجربة ML دون تشغيلها: دقة 77.9%

تصطدم الوكلاء الذين يكتبون بأنفسهم شيفرة مهام تعلّم الآلة ويحسّنونها بعقبة مكلفة: كل مرشح يجب تدريبه وتقييمه فعلياً. يقترح فريق MLE-World استبدال جزء من هذه التشغيلات بالتنبؤ. فالـ world model لديهم يستند إلى شيفرة البرنامج ووصف البيانات، ويُخرج ما كانت ستطبعه الطرفية: أثر الخطأ، وسجلات التدريب، ودرجة التحقق. وعلى البرامج المحجوبة عن التدريب تطابق تنبؤه مع المخرجات الفعلية في 77.9% من الحالات. أما النماذج الكبيرة التي طُلبت منها المهمة نفسها عبر المطالبات فسجلت 41.1%.

استدعاء واحد بدل تشغيل تدريبي

يكمن عنق الزجاجة لدى وكلاء ML في حلقة التغذية الراجعة. في كل خطوة لا يستطيع الوكيل اختبار سوى عدد قليل من الخيارات، لأن كل خيار يُختبر بتدريب نموذج، وهذا يستغرق دقائق أو ساعات من وقت GPU. والنتيجة أن الوكيل إما يكتفي بعدد قليل من المرشحين، وإما ينفق ميزانيته على حسابات تنتهي في الغالب بالنتيجة «لم ينجح».

يغيّر MLE-World هذه المعادلة. فالتنبؤ يكلّف استدعاء inference واحداً لا تدريباً كاملاً. ولهذا يصبح test-time scaling، أي توليد عدة خيارات في كل خطوة واختيار الأفضل بينها، متاحاً فعلاً لوكلاء الأبحاث. وكان هذا الأسلوب في السابق يصطدم بتكلفة فحص كل مرشح.

لا يتنبأ النموذج بـ«تقدير جودة» مجرد، بل بالمخرجات النصية للبرنامج. ويشمل ذلك التشغيلات الفاشلة: خطأ في الاستيراد، أو عدم تطابق الأبعاد، أو نفاد الذاكرة. ومن المفيد للوكيل أن يعرف مسبقاً أن المرشح سيفشل، فلا يهدر عليه تشغيلاً فعلياً.

يمكن التحقق من مدى الوثوق بالتنبؤ

لكل world model نقطة ضعف: قد يخطئ بثقة. لذلك أُدرج في النظام مكوّن ثانٍ يقدّر مدى احتمال أن يكون التنبؤ صحيحاً. وهذا المكوّن ليس للزينة. فالتشغيل الفعلي للمرشح يجري بصورة انتقائية، وبحسب تقدير الموثوقية هذا: عندما تكون الثقة بالتنبؤ ضعيفة، يدفع الوكيل كلفة التنفيذ الحقيقي.

وعلى أساس هذه المنظومة بنى المؤلفون خمس سياسات لـ test-time scaling. وتقارن جميعها في كل خطوة بين عدة مرشحين بناءً على المخرجات المتنبأ بها لا الفعلية. وتضيف إحداها إلى الاختيار مكافأة للاستكشاف، تعتمد هي الأخرى على تقدير الموثوقية. وهذا حماية من وقوع الوكيل في حلقة مفرغة حول الخيارات التي يثق بها النموذج وحسب.

الأرقام وما تعنيه

• تطابق التنبؤ مع مخرجات الطرفية الفعلية على البرامج المحجوبة عن التدريب: 77.9%.
• خط الأساس، أي نماذج أكبر بكثير جرى توجيهها بالمطالبات: 41.1%.
• تحسّن متوسط نتيجة الوكيل المزوّد بـ MLE-World مقارنةً بوكيل بلا world model: يصل إلى 22.1%.
• حجم التنفيذ الفعلي أقل منه لدى الوكيل الذي لا يستخدم النموذج.
• عدد سياسات test-time scaling في البحث: خمس.
• الورقة البحثية الأولية: arXiv 2610.37175، وصفحة المشروع mle-world.github.io.

أهم ما في الأمر هو المقارنة مع النماذج الكبيرة. فالمتنبّئ المتخصص، المدرَّب على أزواج «الشيفرة والبيانات ← المخرجات»، أدق بنحو الضعف من نماذج LLM العامة التي لم تطّلع على قدر كافٍ من التشغيلات الفعلية. والمعرفة بسلوك خطوط المعالجة (pipelines) تُستخلص من سجلات التنفيذ أفضل مما تُستخلص من التدريب المسبق العام.

تعني صيغة «حتى 22.1%» أفضل حالة، لا ضماناً على أي مهمة. ومع ذلك فإن الاتجاه نفسه ينسجم جيداً مع الاقتصاد: inference الرخيص يحل محل ساعات GPU المكلفة.

إذا كنتم تبنون وكلاء لـ AutoML أو للبرمجة، فللنهج تطبيق مباشر. يحسن جمع أزواج «الشيفرة ووصف البيانات ومخرجات التشغيل» من سجلاتكم الخاصة، لأن مجموعة بيانات كهذه تحديداً هي التي تعلّم الـ world model. وفي حلقة الوكيل يحسن الفصل بين التصفية الرخيصة بالتنبؤات والتحقق المكلف بالتشغيل الفعلي، على أن يُحدَّد حد الثقة بمُقيّم الموثوقية. وهكذا تُوجَّه ميزانية GPU إلى المرشحين الذين يكون التنبؤ بشأنهم غامضاً أو يكون الاختيار بينهم مهماً حقاً، بينما تُستبعد الخيارات المعطوبة بوضوح قبل التشغيل.