GEPA يرفع مكافأة وكيل البحث العميق من 0,702 إلى 0,781 على مواضيع جديدة
طبّق باحثون التحسين الانعكاسي للموجّهات GEPA على موجّهَي النظام في وكيل بحث عميق متعدد الوكلاء. جرى التقييم على مواضيع لا وجود لها في مجموعة التدريب (train) ولا في مجموعة التحقق (validation). ارتفعت مكافأة الاستشهاد من 0,702 إلى 0,781 (فاصل ثقة 95% [0,051; 0,107])، وبلغ متوسط الزيادة على ثلاث بذور عشوائية (seeds) 0,107. يتكوّن قرابة نصف أفضل موجّه من إجابات محفوظة، لكن دراسة الاستئصال (ablation) تُظهر أنها لا تجلب أي مكافأة، حتى على الأسئلة التي ترمّزها. - زيادة قدرها +0,079 على المواضيع المحجوزة. - العنصر الأساسي: تغذية راجعة مجزّأة حسب الأبعاد. - مع المكافأة العددية الواحدة (scalar) يصبح الانتقال إلى المواضيع الجديدة سلبيًا.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.CL؛ بتحرير Hamidun News
شغّل فريق من الباحثين التطوير الانعكاسي للموجّهات GEPA على موجّهَي النظام في وكيل بحث عميق متعدد الوكلاء، فارتفعت مكافأة الاستشهاد على المواضيع المحجوزة من 0,702 إلى 0,781. أي بزيادة قدرها +0,079 بفاصل ثقة 95% [0,051; 0,107] وفق طريقة البوتستراب. وعلى ثلاث بذور عشوائية (seeds) كان متوسط الزيادة أعلى: 0,107. ولا تقل النتيجة الجانبية أهمية: فقرابة نصف الموجّه الفائز يشغله مفتاح إجابات محفوظ لأسئلة التدريب، ومع ذلك لا يقدّم أي فائدة.
البروتوكول: ولا موضوع مشترك واحد
المشكلة التي صُمّمت التجربة لمعالجتها مألوفة لكل من يحسّن الموجّهات في المهام الوقائعية. يقرأ المُحسِّن أمثلة التدريب، وقد يكتفي بإدراج الإجابات في نص الموجّه. عندها يبدو التحسن على train تعلّمًا، بينما هو في الحقيقة حفظ. يسدّ المؤلفون هذه الثغرة بتقسيم منفصل المواضيع: لا يظهر أي موضوع في train وvalidation وtest في آن واحد.
أبرز أرقام العمل:
- الطريقة: GEPA، أي التطوير الانعكاسي للموجّهات، طُبّقت على موجّهَي نظام للوكيل.
- المقياس: مكافأة الاستشهاد على المواضيع المحجوزة.
- النتيجة: 0,702 → 0,781، بزيادة +0,079 وفاصل ثقة [0,051; 0,107].
- قابلية التكرار: ثلاث بذور عشوائية، ومتوسط الزيادة 0,107.
- المحكِّم: تبقى الزيادة قائمة حتى عند التقييم بمحكِّم من عائلة نماذج أخرى.
- النسخة اليدوية: الصيغة المكتوبة يدويًا من الوصفة المكتشفة تعيد إنتاج المكسب إلى حد كبير.
مفتاح إجابات في الموجّه لا يعمل
يكاد نص أفضل موجّه يكون كله، حرفيًا، مفتاحًا بإجابات أسئلة التدريب. والاستنتاج الطبيعي أن المُحسِّن احتال وحفظ. لكن المؤلفين اختبروا ذلك بدراسة استئصال (ablation) مضبوطة. فمحتوى مفتاح الإجابات لا يجلب أي مكافأة، حتى على أسئلة التدريب نفسها التي يرمّزها. أي أن الإجابات المحفوظة عبء جرّه التطوير معه، ومصدر التحسن شيء آخر.
أما الفجوة الكبيرة بين validation وheld-out فلها تفسير أبسط. عينة التحقق صغيرة، والمحكِّم يعطي نتائج مضطربة، واختيار أفضل مرشح بناءً على إشارة كهذه يبالغ في تقدير الأداء. إنه أثر صغر العينة عند انتقاء الفائز، ولا علاقة له بالحفظ.
ما الذي ينتقل فعلًا
لفهم مصدر الانتقال إلى مواضيع جديدة، غيّر المؤلفون المُحقِّق (verifier). تبيّن أن العنصر السببي هو التغذية الراجعة المجزّأة: تقييم كل بُعد من أبعاد الجودة على حدة بدل رقم واحد. وإذا دُمجت في مكافأة عددية واحدة (scalar) صار الانتقال إلى المواضيع المحجوزة سلبيًا. فالمُحسِّن الذي لا يحلّل الأخطاء بحسب المكوّنات يفهم أقل ما ينبغي إصلاحه، ويتكيّف مع الضجيج.
وللنتيجة وزن عملي يفوق الزيادة نفسها البالغة 0,079. فتحسين الموجّهات أرخص من RL ويعطي مُخرَجًا مقروءًا، لكن نتائجه تُبالغ في تقديرها بسهولة إذا غاب الانضباط في التقييم. ينشر المؤلفون الموجّهات المرشّحة وفروق التغييرات (diffs) على خطوط التطوير والرسوم والجداول والتحليل، ويمكن بالتالي التحقق من الاستنتاجات بأنفسكم.
كيف تُختبر أدوات تحسين الموجّهات
يخرج من العمل قائمة تحقق قصيرة للفرق التي تحسّن موجّهات الوكلاء. قسّموا البيانات حسب المواضيع، لا حسب أمثلة عشوائية. شغّلوا ثلاث بذور عشوائية على الأقل واحسبوا فواصل الثقة. لا تثقوا بفائز اختير على عينة تحقق صغيرة مع محكِّم مضطرب النتائج. أجروا دراسة استئصال: احذفوا الأجزاء المشبوهة من الموجّه وراقبوا هل ينخفض المقياس. وأخيرًا، زوّدوا المُحسِّن بتغذية راجعة مجزّأة حسب الأبعاد. فالمكافأة العددية الواحدة في هذه التجربة لم تكن أسوأ فحسب، بل أفسدت الانتقال. وإذا أمكن وصف الوصفة يدويًا، كما فعل المؤلفون، فالأجدر تثبيتها في موجّه النظام دون إعادة تشغيل التطوير.
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول البروتوكول: ولا موضوع مشترك واحد؟
المشكلة التي صُمّمت التجربة لمعالجتها مألوفة لكل من يحسّن الموجّهات في المهام الوقائعية. يقرأ المُحسِّن أمثلة التدريب، وقد يكتفي بإدراج الإجابات في نص الموجّه. عندها يبدو التحسن على train تعلّمًا، بينما هو في الحقيقة حفظ. يسدّ المؤلفون هذه الثغرة بتقسيم منفصل المواضيع: لا يظهر أي موضوع في train وvalidation وtest في آن واحد. أبرز أرقام العمل: الطريقة: GEPA، أي التطوير الانعكاسي للموجّهات، طُبّقت على موجّهَي نظام للوكيل. المقياس: مكافأة الاستشهاد على المواضيع المحجوزة. النتيجة: 0,702 → 0,781، بزيادة +0,079 وفاصل ثقة [0,051; 0,107]. قابلية التكرار: ثلاث بذور عشوائية، ومتوسط ال
ما أبرز التفاصيل حول مفتاح إجابات في الموجّه لا يعمل؟
يكاد نص أفضل موجّه يكون كله، حرفيًا، مفتاحًا بإجابات أسئلة التدريب. والاستنتاج الطبيعي أن المُحسِّن احتال وحفظ. لكن المؤلفين اختبروا ذلك بدراسة استئصال (ablation) مضبوطة. فمحتوى مفتاح الإجابات لا يجلب أي مكافأة، حتى على أسئلة التدريب نفسها التي يرمّزها. أي أن الإجابات المحفوظة عبء جرّه التطوير معه، ومصدر التحسن شيء آخر. أما الفجوة الكبيرة بين validation وheld-out فلها تفسير أبسط. عينة التحقق صغيرة، والمحكِّم يعطي نتائج مضطربة، واختيار أفضل مرشح بناءً على إشارة كهذه يبالغ في تقدير الأداء. إنه أثر صغر العينة عند انتقاء الفائز، ولا علاقة له بالحفظ.
ما أبرز التفاصيل حول ما الذي ينتقل فعلًا؟
لفهم مصدر الانتقال إلى مواضيع جديدة، غيّر المؤلفون المُحقِّق (verifier). تبيّن أن العنصر السببي هو التغذية الراجعة المجزّأة: تقييم كل بُعد من أبعاد الجودة على حدة بدل رقم واحد. وإذا دُمجت في مكافأة عددية واحدة (scalar) صار الانتقال إلى المواضيع المحجوزة سلبيًا. فالمُحسِّن الذي لا يحلّل الأخطاء بحسب المكوّنات يفهم أقل ما ينبغي إصلاحه، ويتكيّف مع الضجيج. وللنتيجة وزن عملي يفوق الزيادة نفسها البالغة 0,079. فتحسين الموجّهات أرخص من RL ويعطي مُخرَجًا مقروءًا، لكن نتائجه تُبالغ في تقديرها بسهولة إذا غاب الانضباط في التقييم. ينشر المؤلفون الموجّهات المرشّحة وفروق التغييرات (diffs)
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.