HeirCommit يستبعد حتى 83% من التحديثات الضارة في نماذج LLM ذاتية التطور

بيّن باحثون أن لدى نماذج اللغة ذاتية التطور نقطة ضعف في اختيار النسخة التي تنتقل إلى الجولة التالية. على المهام التي جرى التحقق منها، لا يرفع معظم التحديثات احتمال الإجابات الصحيحة، ومع ذلك تورّثها حلقات R-Zero وAgent0 وSkill Self-Play جميعًا. ويقلّص إطار HeirCommit نسبة التحديثات الضارة المقبولة بما بين 68% و83% مقارنة بالتوريث العشوائي، عند النسبة نفسها من التحديثات المقبولة. أما الطبقة الإضافية EvoHeir فتحقق، على أربعة نماذج أساسية، أفضل متوسط نتائج في الرياضيات والاستدلال العام. ويزيد متوسط درجة الرياضيات بنسبة 5.3% على أقوى خط أساس (baseline)، وهو Agent0.

أين تنكسر آلية التطور الذاتي

تسير آلية التطور الذاتي على النحو التالي: يولّد النموذج المهام بنفسه، ويتعلم منها، ثم يدخل الجولة التالية في صورته المحدَّثة. وفي كل جولة يجب تحديد النسخة التي سترث النموذج. في الحلقات القائمة يُتخذ هذا القرار عبر المهمة نفسها: إذا بدت المهمة قابلة للتعلم، سُمح بها في التدريب، ثم قُبل التحديث الناتج كاملًا.

يسمّي الباحثون المشكلة «فجوة الانتقاء والتحديث» (selection-to-update gap). فالمهمة التي تبدو قابلة للتعلم ليست مضطرة إلى إحداث تحوّل مفيد في الأوزان. وبحسب تقديرهم، لا يجعل معظم التحديثات على المهام التي جرى التحقق منها الإجابات الصحيحة أكثر احتمالًا. ومع ذلك تورّثها الحلقة، فتتراكم الأخطاء من جولة إلى أخرى.

كيف يعمل HeirCommit وEvoHeir

ينقل HeirCommit القرار من المهمة إلى النموذج نفسه. تُجمَّد النسخة المحدَّثة وتُختبر بأسئلة تقييم جديدة، وبناءً على النتيجة يُقرَّر: هل يُورَّث النموذج الجديد أم يبقى النموذج الحالي. وأهمية الأسئلة الجديدة أن التقييم على الأسئلة التي جرى الانتقاء بناءً عليها يأتي مبالغًا فيه. ويسمّي الباحثون هذا «أثر الانتقاء» (selection-induced optimism) ويصفونه تحليليًا.

ويذهب EvoHeir أبعد من ذلك، إذ يفصل بين قناتين للتوريث: المعاملات والخبرة. فقد يفشل النموذج في الاختبار، لكن المهام والمسارات التي تدرّب عليها تبقى مفيدة. وتُستخدم الخبرة الحالية والمؤرشفة لتصحيح الأخطاء والحفاظ على الحلول الناجحة. ولا يأتي التأكيد النهائي إلا بعد هذه الخطوة. وخلاصة الباحثين بحسب صياغتهم: تبقى الخبرة المفيدة محفوظة حتى عندما لا يُورَّث النموذج الذي أنتجها.

يحلّل الجانب النظري الندم (regret) إلى ثلاثة مكونات:

• خطأ الانتقاء، حين يُقبل تحديث سيئ أو يُرفض تحديث جيد؛
• خطأ الاستيعاب، حين يتشرب النموذج ما عُرض عليه بشكل سيئ؛
• خطأ التأكيد، حين يُدخل الفحص النهائي ضوضاءه الخاصة.

الأرقام

• نسبة التحديثات الضارة بين المقبولة أقل بما بين 68% و83% مع HeirCommit مقارنة بالتوريث العشوائي، عند مستوى القبول نفسه.
• اختُبر EvoHeir على أربعة نماذج أساسية.
• أفضل متوسط نتائج في الرياضيات والاستدلال العام بين الأساليب المقارَنة.
• الزيادة في متوسط الرياضيات: 5.3% مقارنة بـ Agent0، أقوى خط أساس.

تجعل المقارنة بالتوريث العشوائي عند نسبة قبول ثابتة النتيجةَ أكثر إنصافًا. فلا يمكن تفسير المكسب بأن الأسلوب أصبح ببساطة أشد صرامة، والمسألة تتعلق فقط بنوعية التحديثات التي تمر. وقد ذُكرت الزيادة البالغة 5.3% كزيادة نسبية، ولا يتضح من الوصف المتاح أي المقاييس المرجعية (benchmarks) والنماذج دخلت في حساب المتوسط.

ما الذي يمكن الاستفادة منه عمليًا

إذا كنت تبني حلقة تعلم ذاتي لنموذجك أو وكيلك، فيمكن استخلاص ثلاث نتائج عملية من هذا العمل. أولًا، لا تعتبر قبول المهمة ضمانًا لتحديث مفيد: تحقق من النموذج النهائي، لا من المادة التي تدرّب عليها فقط. ثانيًا، احتفظ بمجموعة منفصلة من الأسئلة الجديدة لقرار التوريث. فإذا أعدت استخدام الأسئلة التي جرى الانتقاء بناءً عليها، فسيأتي التقييم مبالغًا فيه. ثالثًا، لا تتخلَّ عن خبرة النسخ المرفوضة. يمكن استخدام أرشيف المسارات لتصحيح الأخطاء وتثبيت الحلول الناجحة، ولا يلزم لذلك قبول الأوزان المرشحة.

والقيود واضحة أيضًا. فأسئلة التقييم الجديدة تكلّف قدرة حوسبية وبيانات، ويُستحسن الرجوع إلى الورقة نفسها لمعرفة تفاصيل التنفيذ والقائمة الكاملة للمقاييس المرجعية. لكن فكرة الفصل بين اختيار النموذج المستقبلي واختيار مهمة التدريب قابلة للتطبيق على أي حلقة تطور ذاتي.