EliteTable يدفع نماذج LLM إلى تطوير أكواد التحكم: تحسّن في 6 من 6 مهام

وصف مؤلفو الورقة البحثية arXiv:2610.12536 خوارزمية EliteTable للبحث عن البرامج، يتولى فيها نموذج لغوي كبير بنفسه كتابة سياسات تحكم قابلة للتنفيذ وتحسينها. أُجريت التجربة على ست مهام من Gymnasium. استمر كل بحث عشرة أجيال بواقع 50 خانة للمرشحين، وأُجريت عشر عمليات تشغيل مستقلة لكل مهمة. النتيجة متباينة: ارتفعت القيم الوسيطة لتقييمات المرشحين بين الجيل الأول والأخير في المهام الست جميعها، أما على الحلقات الجديدة فلم يبقَ المكسب إلا في بعضها.

كيف تعمل EliteTable

يقوم النهج على جدول ثابت السعة. يحتفظ الجدول بأفضل الحلول التي عُثر عليها، أي البرامج التي حققت درجة عالية في البيئة. ويعمل هذا الجدول سياقًا لنموذج LLM. يستمد النموذج منه أمثلة، ويعمل بثلاثة أنماط: يقترح حلًا جديدًا، أو يعدّل حلًا قائمًا، أو يدمج عدة حلول في حل واحد (ريمكس).

يشبه هذا المخطط البحث التطوري، إذ يؤدي النموذج اللغوي دور الطفرة والتزاوج، بينما يتولى الجدول المحدود الانتقاء. ونتيجة البحث ليست أوزان شبكة عصبية، بل شيفرة سياسة. يمكن قراءتها وفحصها وتشغيلها كأي برنامج عادي. وهذه حجة قوية لصالح النهج في مهام التحكم.

ماذا أظهرت المهام الست

بحسب الأرقام الواردة في الملخص، تبدو الصورة كما يلي:

• ميزانية البحث: 10 أجيال × 50 خانة للمرشحين، أي حتى 500 مرشح في كل عملية تشغيل.
• قابلية التكرار: 10 عمليات بحث بتهيئة مستقلة لكل مهمة من المهام الست.
• ارتفعت القيم الوسيطة لتقييمات المرشحين بين الجيل الأول والأخير في 6 مهام من 6.
• ارتفعت القيم الوسيطة لتقييمات البحث للفائزين المختارين في 5 مهام من 6.
• في CartPole-v1 بلغ الفائز المختار سقف تقييم البحث منذ الجيل الأول في عمليات التشغيل العشر كلها.
• على الحلقات المحجوزة، تحسنت جميع النتائج النهائية المقترنة العشر في 4 مهام من 6.
• تحسنت BipedalWalker-v3 وCarRacing-v3، لكنهما لم تبلغا المؤشرات المستهدفة في التقرير.

يبيّن مثال CartPole-v1 أن المهمة أبسط من أن تميّز بين الطرق القوية والضعيفة: بلغ السقف فورًا، وبعد ذلك لا يثبت البحث شيئًا. أما BipedalWalker-v3 وCarRacing-v3 فهما أكثر دلالة. فهما بيئتان معقدتان، والتقدم فيهما موجود، لكنه لم يصل إلى الأهداف المعلنة.

أين تخالف النتائج التوقعات

يبدو أداء Acrobot-v1 الأضعف. ففي ست عمليات بحث من عشر ساءت النتيجة على الحلقات المحجوزة، وكانت القيمة الوسيطة للتغير المقترن سالبة. وهذا يعني أن الفائز المختار بحسب تقييم البحث ربما تكيّف مع حلقات بحث بعينها ولم يعمّم على الحلقات الجديدة. هذه مشكلة كلاسيكية في الانتقاء وفق مقياس مشوّش، ولا يبدو من البيانات أن جدول الحلول النخبوية يعالجها.

التحفظ الرئيسي مذكور في الملخص نفسه. يكتب المؤلفون أن تقييم الفاعلية النسبية لـ EliteTable ومساهمة مكوناتها المنفردة يتطلب مقارنات ودراسات استئصال (ablation). ولا تتوافر هذه البيانات حاليًا. ولا يُعرف مدى تفوق الطريقة على البحث العشوائي البسيط عن البرامج، أو على التوليد دون جدول، أو على أدوات البحث الأخرى القائمة على LLM. كما يبقى غير واضح أي الأنماط الثلاثة (الاقتراح، التعديل، الدمج) يحقق الجزء الأكبر من المكسب. يوثّق العمل تحسنًا خلال البحث وانتقالًا جزئيًا للمكسب إلى الحلقات الجديدة، لكنه لا يثبت تفوق الطريقة.

والخلاصة للممارسين كالتالي. تبدو فكرة الاحتفاظ بجدول مضغوط لأفضل البرامج وطلب إعادة كتابتها من LLM صالحة لتوليد شيفرة التحكم، خصوصًا حيث تلزم سياسة مقروءة. لكن إذا كنتم تنوون تطبيق النهج على مهامكم، فقيّموا الفائزين على الحلقات المحجوزة فقط، لا بتقييم البحث. واستخدموا عدة عمليات تشغيل مستقلة، ولا تثقوا بالقيم الوسيطة دون مقارنة مقترنة. وإلى أن ينشر المؤلفون مقارنات مع الطرق الأساسية ودراسات استئصال، فالأجدر اعتبار EliteTable فرضية مثيرة للاهتمام، لا أداة جاهزة.