HACE يدرّب نموذجًا متخصصًا ووكيل LLM معًا في ثلاثة مجالات

يقترح فريق مؤلفي ورقة Heterogeneous Agentic CoEvolution منظومة يحسّن فيها نموذجان مختلفان أحدهما الآخر في آنٍ واحد: نموذج أساسي عالي التخصص ووكيل LLM. يحمل الإطار اسم HACE. اختبره الباحثون في ثلاثة مجالات: أنظمة التوصية، والتنبؤ بوظائف البروتينات، والتنبؤ باستقرار البلورات. وتفوّق HACE في المقاييس الرئيسية للمهام على جميع أساليب التحسين الذاتي المقارَنة. ولا يورد الملخص قيم المكاسب المحددة، لذا لا يمكن الحكم على حجم الأثر إلا بعد الاطلاع على الجداول الكاملة.

المشكلة: النموذج المتخصص يتطور بينما تبقى طريقة تحسينه ثابتة

لم تعد فكرة وكلاء LLM ذاتية التحسين جديدة: فهي أنظمة تعيد كتابة مطالباتها وشيفرتها واستراتيجياتها، وتحقق مكسبًا يمكن التحقق منه. لكن في المجالات التطبيقية كثيرًا ما تعمل نماذج متخصصة ذات خبرة عميقة في مجالها، لا نماذج LLM عامة. فالنموذج المخصص للبروتينات أو للبنى البلورية يعرف مجاله أفضل من أي نموذج عام. ومع ذلك لا يزال البشر هم من يحسّنه: يختارون البيانات والبنية المعمارية ونظام التدريب.

ويشير المؤلفون إلى الصعوبة الجوهرية. فحين يزداد النموذج المتخصص قوة، تفقد الاستراتيجيات التي دفعته إلى الأمام فعاليتها السابقة. وما حقق مكسبًا على نموذج ضعيف قد يصطدم بسقف على نموذج قوي. وعليه، ينبغي أن يتغير «المحسِّن» نفسه مع تغيّر ما يحسّنه.

كيف تعمل الحلقة

يبني HACE حلقة مغلقة من طرفين وطبقة ربط بينهما.

• يتعلم النموذج المتخصص بالتعلّم الخاضع للإشراف (supervised learning) على بيانات تُنتقى أثناء الحلقة.
• يخضع الوكيل لـ on-policy reinforced self-training. وتعتمد المكافأة على تحسّن مُتحقَّق منه في جودة النسخة الحالية من النموذج المتخصص تحديدًا.
• يتحول استكشاف الوكيل، أي ما يجرّبه وما يعثر عليه، إلى مادة للجولة التالية من تدريب النموذج المتخصص.
• يحسّن بحث تطوري إطار التفاعل (interaction harness): كيف يتبادل النموذجان المعلومات، وأي أمثلة تدريب تُختار.

ولعل البند الأخير هو الأكثر إثارة للاهتمام. فطبقة الربط لا تُثبَّت مسبقًا، بل تتطور مع نمو قدرات النموذجين. وهذا هو الرد على المشكلة الأصلية: إذ تُراجَع قواعد اللعبة بين الوكيل والنموذج المتخصص في كل مرحلة.

وثمة تفصيل مهم في إشارة المكافأة. فالوكيل لا يُكافأ على حلول تبدو معقولة ظاهريًا، بل على تحسّن مؤكَّد. وهذا يقلّل خطر أن يتعلم الوكيل إنتاج بيانات مقنعة لكنها عديمة الفائدة للنموذج المتخصص.

ما الذي جرى اختباره وما الذي لا يزال غير واضح

اختيار المجالات دالّ. فأنظمة التوصية والتنبؤ بوظيفة البروتين والتنبؤ باستقرار البلورة تختلف في طبيعة البيانات والمقاييس وبنية النماذج. ويصوغ المؤلف استنتاجه بحذر: قد يكون التطور المشترك غير المتجانس نهجًا شاملًا لتحسين النماذج الأساسية المتخصصة عبر التفاعل مع وكيل متعلّم. والمجالات الثلاثة مقنعة كدليل على اتساع النطاق، لكن «الشمولية» لا تزال فرضية.

ما يبقى غير واضح من نص الملخص:

• حجم المكسب في كل مقياس ومدى ثباته إحصائيًا؛
• كلفة الحلقة الكاملة من حيث الحوسبة مقارنةً بالتدريب الإضافي المعتاد؛
• أي أساليب التحسين الذاتي اعتُمدت خطوطَ أساس تحديدًا، وما مدى قوتها؛
• كيف يتصرف النظام على المدى الطويل حين يقترب النموذج المتخصص من سقف أدائه.

الخلاصة العملية

بالنسبة إلى الفرق التي تمتلك نماذج مجالية خاصة بها، فإن الفكرة الرئيسية للورقة هي التالية: ينبغي استخدام الوكيل لا كأداة لمرة واحدة لاختيار المعاملات الفائقة، بل كشريك دائم في التدريب يُكافأ على تقدّم قابل للقياس. وإذا كان لديكم تحقق آلي موثوق من الجودة، مثل معيار اختبار بمقياس لا لبس فيه أو تحقق مخبري، فهذه المنظومة أقرب ما تكون إلى التطبيق. أما بدون إشارة يمكن التحقق منها، فتفقد الحلقة معناها.

على المهندسين أن يحسبوا مسبقًا كلفة التجربة. فكل جولة تتطلب تدريبًا إضافيًا للنموذج المتخصص، وتدريبًا للوكيل، وبحثًا في تكوينات طبقة الربط. وإلى أن ينشر المؤلفون تفاصيل التكاليف، من المعقول تقييم HACE بوصفه منظومة بحثية واعدة، لا وصفة إنتاجية جاهزة. لكن الاتجاه واضح: ينتقل التحسين الذاتي من نماذج LLM العامة إلى النماذج الضيقة، حيث تعتمد عليه النتائج في العلوم وأنظمة التوصية.