BeliefWeaver يضيف 5,1 نقطة مئوية لأداء الوكلاء في المهام الطويلة، ونموذج الطالب 9B يضيف 9,8

كثيرًا ما لا ينهار الوكيل الذي يعمل ساعة كاملة في الطرفية (terminal) عند الخطوة الأخيرة. فسبب الخلل يكمن في مكان ما وسط السلسلة: تبعية اختيرت خطأً، أو فحص جرى تخطيه، أو ملف إعدادات تالف. ولا تكشف المراجعة الذاتية المحلية ولا التراجع خطوة واحدة إلى الوراء هذا النوع من الأخطاء. يقترح مؤلفو ورقة بحثية منشورة في Hugging Face Daily Papers إطار BeliefWeaver. على ثلاثة معايير طرفية، يرفع الإطار الدرجة النهائية المجمّعة بمقدار 5,1 نقطة مئوية مقارنة بالمتابعة الأصلية لـ Terminus-2. أما النسخة المقطَّرة إلى نموذج 9B فحققت +9,8 نقطة مئوية مقارنة بخط الأساس الأصلي المعلن، وخفّضت التكلفة التقديرية لاستدعاءات API الخاصة بالمعلّم بنسبة 54,8%.

ذاكرة للإخفاقات بدل إعادة المحاولة من الصفر

الفكرة الأساسية أن خبرة المحاولات الفاشلة لا تضيع بين عمليات التشغيل. يحتفظ BeliefWeaver بحالة علائقية للمعتقدات، تربط بين أربعة أنواع من الكيانات: الجبهات (frontiers)، أي الاتجاهات التي يمكن للوكيل استكشافها لاحقًا، والمحاولات، والملاحظات، ونقاط الحفظ (checkpoints). وإذا كشفت محاولة ما عن شيء جديد، فلا تتحدث أولويات الجبهة الحالية وحدها، بل أولويات الجبهات المرتبطة بها أيضًا، سواء بين المحاولات أو عند التراجع. وتعمل البيانات التشخيصية هنا بوصفها مرشِّحًا: إذ يخضع التنفيذ لبوابة تحكم تعتمد عليها، فلا يمضي الوكيل قدمًا دون بصيرة.

المكوّن الثاني هو نموذج العالم الضمني (IWM). فهو يقيّم فرضيات الإصلاح، ويتنبأ بما إذا كان الاتجاه المختار سيؤدي إلى تقدم، ويكشف الروابط بين الجبهات. وبذلك لا يحصل الوكيل على قائمة بما جرّبه فحسب، بل على توقع لـ«الوجهة التي يستحق السير نحوها». وبحسب المؤلفين، يحسّن هذا أيضًا كفاءة الاستكشاف: فالاتجاهات العامة لهذا المؤشر إيجابية، مع أن الملخص لا يتضمن أرقامًا.

التقطير إلى 9B: مصدر التوفير

يكلّف نموذج العالم المبني على LLM كبير مبالغ مرتفعة، لأن كل تقييم لفرضية هو استدعاء لـ API. لذلك عزل المؤلفون مكوّنات الاستدلال المتكررة في IWM، ونقلوها إلى نموذج طالب بحجم 9 مليارات معامل. واستخدموا الضبط الدقيق الموجَّه (supervised fine-tuning) والتقطير على السياسة (on-policy distillation، أو OPD). ويعني OPD في العادة التدريب على مسارات الطالب نفسه مع تقييم المعلّم لها، لا على أمثلة جاهزة فقط. وهذا يقلّص الفجوة بين التدريب والتشغيل الفعلي.

• تحسّن BeliefWeaver مقارنة بالمتابعة الأصلية لـ Terminus-2: +5,1 نقطة مئوية في الدرجة النهائية المجمّعة.
• تحسّن الطالب 9B مقارنة بخط الأساس الأصلي المعلن: +9,8 نقطة مئوية.
• انخفاض التكلفة التقديرية لـ API الخاصة بالمعلّم مقارنة بالمعلّم المطابق (matched teacher): 54,8%.
• التقييم على ثلاثة معايير طرفية.
• مكوّنات التدريب: SFT وOPD.

لا يمكن مقارنة الرقمين 5,1 و9,8 مباشرة. فالأول مأخوذ مقارنةً بالمتابعة الأصلية لـ Terminus-2، والثاني مقارنةً بخط أساس أصلي معلن (reported). كما وُصف التوفير البالغ 54,8% بأنه تقديري. ولم يورد الملخص أسماء المعايير ولا النموذج الأساسي للطالب ولا الدرجات المطلقة. وينبغي التحقق من ذلك في النص الكامل للورقة قبل استخلاص أي استنتاجات بشأن قابلية إعادة الإنتاج.

ما الذي تستفيد منه الفرق التي تبني الوكلاء؟

حتى دون استخدام BeliefWeaver نفسه، يمكن أخذ عدة ممارسات هندسية من هذا العمل. أولًا: تخزين أدلة الإخفاق بصورة منظمة وعبر المحاولات، لا في سياق التشغيل الحالي فقط. ثانيًا: حفظ نقاط الحفظ (checkpoints) وربط الملاحظات بها، كي يعود التراجع إلى السبب الحقيقي لا إلى الخطوة الأخيرة. ثالثًا: وضع بوابة تشخيصية قبل الإجراءات المكلفة أو التي لا يمكن التراجع عنها. وأخيرًا، إذا كانت تكلفة استدعاء نموذج قوي داخل الحلقة مسألة حرجة، فمن المجدي اختبار تقطير مكوّنات الاستدلال الضيقة إلى نموذج صغير. ونتيجة +9,8 نقطة مئوية مع تكاليف أقل بنحو النصف على جانب المعلّم تشير إلى أن هذا الاتجاه عملي، لكن يجب تأكيده على مهامكم الخاصة.