HERA تعلّم وكلاء الذكاء الاصطناعي رفض المهام المستحيلة: دقة الرفض من 61,7% إلى 83,3%

الوكيل الذي ينفّذ بثقة ما لا يمكن تنفيذه أخطر من الوكيل الذي يخطئ فحسب. فهو يستدعي الأدوات، ويستهلك الميزانية، ويبلّغ عن النجاح في موقف لا يوجد فيه حل أصلًا. ويقترح مؤلفو ورقة HERA، التي ظهرت في Hugging Face Daily Papers، طريقة لمعالجة هذه المشكلة. فعلى المهام المؤجَّلة رفعت الحزمة المحيطة بالوكيل (harness) التي طوّرها المؤلفون دقة الرفض من 61,7% إلى 83,3%. وفي الوقت نفسه ارتفعت نسبة المهام القابلة للحل المنجزة من 68,3% إلى 76,7%. ثم انتقلت أفضل حزمة إلى 19 نموذج LLM آخر، وأضافت إلى دقة الرفض لديها في المتوسط 15,3 نقطة مئوية.

المشكلة: الوكلاء لا يجيدون قول «لا أستطيع»

تسمّي الورقة هذه القدرة agentic abstention: أي قدرة الوكيل على إدراك أن المهمة غير قابلة للتنفيذ في البيئة الحالية والتوقف عندها. وفي السابق حاول الباحثون رفع الموثوقية في هذه الحالات بطريقتين: إما بإعادة تدريب النموذج، وإما بضبط الحزمة المحيطة به (harness)، أي كل ما يحيط بالنموذج من تعليمات وقواعد للتعامل مع الأدوات وعمليات تحقق. وفي الحالتين جرى التحسين على مجموعة ثابتة من المهام. والنتيجة متوقعة: ينجح الأمر مع الفخاخ المعروفة مسبقًا، ولا ينجح مع أنواع الإخفاق الجديدة.

يستهدف HERA هذا القصور تحديدًا. يتكون الإطار من جزأين، والجزء الثاني أهم من الأول.

كيف يعمل HERA

الجزء الأول خط معالجة يبني تلقائيًا أزواجًا قابلة للتحقق من المهام: مهمة قابلة للتنفيذ وأخرى غير قابلة للتنفيذ. وتُشتق المهمة غير القابلة للتنفيذ من القابلة للتنفيذ عبر تعديل مضبوط للبيئة، كأن يُزال من البيئة عنصر لا يمكن الوصول إلى الحل من دونه. يوفّر الزوج تباينًا واضحًا: على الوكيل أن ينجز إحدى النسختين وأن يرفض الأخرى. وقابلية التحقق هنا هي الأساس: فالإجابة الصحيحة معروفة بحكم طريقة البناء، ولا حاجة إلى وسم يدوي.

الجزء الثاني إجراء للتطور المشترك (coevolution). فإخفاقات المهام السابقة تدفع إلى تكييف الحزمة، وتتحول نقاط الضعف نفسها إلى طلب لتوليد بيئات ومهام جديدة. تتحسن الحزمة، وتزداد البيئة صعوبة في المواضع التي تعثّر فيها الوكيل، ثم تتكرر الدورة. وبدلًا من معيار اختبار ثابت، نحصل على ساحة تدريب تتكيف مع نقاط الضعف.

الأرقام

• دقة الرفض على المهام المؤجَّلة: 61,7% → 83,3% (+21,6 نقطة مئوية).
• إنجاز المهام القابلة للحل: 68,3% → 76,7% (+8,4 نقطة مئوية).
• يتصدر HERA الطرق المقارَنة في المؤشرين كليهما.
• الانتقال إلى 19 نموذج LLM آخر: +15,3 نقطة مئوية في المتوسط في دقة الرفض، دون تحسين خاص بنموذج بعينه.
• وفق تقدير المؤلفين، تلحق النماذج الصغيرة المزوَّدة بهذه الحزمة بالنماذج الأقوى بتكلفة أقل بنحو 85%.

ويستحق الارتفاع في المهام القابلة للحل وقفة خاصة. فالثمن المعتاد للحذر هو الإفراط فيه: يبدأ الوكيل برفض مهام لها حل. وهذا لم يحدث هنا، إذ ارتفع المقياسان معًا. وبحسابنا، فإن خطوات القيم من مضاعفات 1,67 نقطة مئوية، ما يشير إلى عيّنة مؤجَّلة تبلغ نحو 60 مهمة. العيّنة صغيرة، لذا ينبغي قراءة الفروق الطفيفة بين الطرق بحذر. أما الانتقال إلى 19 نموذجًا فيعمل بمثابة تحقق مستقل: فالنتيجة المتوسطة عبر هذا العدد من نماذج LLM أقل اعتمادًا على الحظ في مجموعة واحدة.

والجانب الأكثر عملية في النتيجة هو الاقتصاد. فالحزمة التي تُضبط مرة واحدة تنتقل إلى نماذج أخرى، ويغطي نموذج صغير بحزمة جيدة جزءًا من السيناريوهات بدلًا من نموذج رائد مكلف. وتقدير توفير 85% هو تقدير فعلًا: فالمؤلفون لا يقدّمونه بوصفه تكلفة مقيسة في بيئة الإنتاج، وفي الأحمال الواقعية سيتوقف الرقم على التعرفة وطبيعة المهام.

ويمكن للفرق التي تبني وكلاء أن تخرج من الورقة بثلاث خلاصات. أولًا، يجب إدراج المهام المستحيلة في مجموعة الاختبار بوصفها فئة مستقلة، وحساب مقياس منفصل لها. ثانيًا، تعديل البيئة طريقة رخيصة للحصول على مثل هذه الحالات: تأخذ سيناريو يعمل وتكسر الشرط الذي يعتمد عليه الحل. ثالثًا، قبل دفع تكلفة نموذج أقوى، ينبغي التحقق مما إذا كانت الحزمة المعاد تصميمها تعالج المشكلة. وتبقى القيود قائمة: فالنتائج مستمدة من بيئات المؤلفين المحددة، ولا يزال يتعين اختبار الصمود أمام الإخفاقات التي لا تغطيها هذه التعديلات.