في معيار HALO، 61,20% من ردود وكلاء الذكاء الاصطناعي المرفوضة سببها مساعدة مبكرة أكثر من اللازم أو مُلحّة

على الوكيل الاستباقي أن يقرر بنفسه ما إذا كان يجدر به المساعدة، ومتى، وإلى أي مدى يذهب، ودون طلب صريح. وقد اقترح باحثون من جامعة كاليفورنيا في ديفيس وجامعة جنوب كاليفورنيا معيار HALO لهذا النوع من الاختبار. وأهم استنتاجاته أن الوكلاء يخطئون في الغالب بسبب المبادرة الزائدة، لا بسبب الامتناع عن التصرف. ومن بين الردود التي رفضها المقيّمون البشريون، عانى 61,20% منها (2188 من 3575) من تدخل مبكر جدًا أو من قوة مفرطة في الإجراءات.

كيف صُمم HALO ومن صنّف الردود

تغطي السيناريوهات أربعة أنواع من الاحتياجات: الاعتماد (ينقص شرط لعمل مقبل)، والعرقلة (لا يمكن مواصلة النشاط الحالي)، والخطر (مشكلة محتملة لم تقع بعد)، والفرصة (خطوة مفيدة لكنها غير ضرورية). وتتوزع على 10 مجالات حياتية يومية، من الدراسة والعمل إلى الأسرة والصحة والسفر والمالية والهوايات. في كل مجال خمس شخصيات، فيكون المجموع 50 بيئة شخصية. وفي كل بيئة ثمانية سيناريوهات، فيصل الإجمالي إلى 400.

تتألف البيئة من البريد وWالتقويم والدردشة وجهات الاتصال والمحفظة، بينما تُخزَّن الأدلة في قواعد بيانات SQLite وملفات نصية. لدى الوكيل 29 أمرًا للبحث عن البيانات و19 أمرًا لتنفيذ الإجراءات. وعند كل نقطة تحقق، يرى جزءًا من سلسلة الأحداث، ويمكنه جمع البيانات على عدة جولات، ثم يقدّم ردًا واحدًا قابلًا للتنفيذ أو يمتنع عن اتخاذ أي إجراء. وتنقسم الإجراءات إلى مستويات: L0 — المراقبة، وL1 — لفت الانتباه، وL2 — التحضير دون التزامات خارجية، وL3 — التنفيذ بعواقب حقيقية. والمستوى الأعلى لا يعني مساعدة أفضل. أنشأ GPT5.6-Sol السيناريوهات، ثم راجعها مدقّق آلي ومراجعون.

اعتمادًا على هذه البيئة، جُمعت مجموعة HALO-8K: 8000 رد من 10 نماذج، بواقع 800 لكل نموذج. وأصدر عشرون خبيرًا حكمهم على مدى قبول كل رد، وحددوا للردود المرفوضة سببها: التبكير أو التأخر أو القصور أو الإفراط أو غير ذلك. واحتُسب الامتناع المعقول عن التصرف ردًا صحيحًا.

ماذا أظهرت النتائج

التفاوت كبير: من 30,38% لـ GPT-OSS-20B إلى 72,88% لـ Gemini3.8-Flash. وحتى أفضل نموذج يقدّم ردًا غير مقبول في أكثر من ربع الحالات. ومن بين النماذج المفتوحة يتصدر DeepSeekV4-Pro بنسبة 56,63%، وقد تفوّق على النموذجين المغلقين Gemini3.1-Pro وGPT5.6-Luna. وفي المتوسط سجّلت النماذج المغلقة 63,08%، والمفتوحة 47,55%، لكن أقوى ثلاثة نماذج مفتوحة تقع ضمن نطاق 2,50 نقطة، بينما يسحب الذيل الضعيف المتوسط إلى الأسفل.

اختار الوكلاء المستوى L1 في أغلب الأحيان (69,20% من الردود)، وجاء L3 في 16,09%، وL2 في 4,18% فقط. ونسبة التنفيذ متقاربة تقريبًا في المجموعتين، نحو 16,1%. وتختار النماذج المغلقة المستوى L0 أكثر بمرتين. ويتكرر التدخل المبكر أكثر من المتأخر بنحو ثلاثة أضعاف تقريبًا، وتتكرر القوة المفرطة أكثر من القوة غير الكافية بنحو الضعف. وأقل ما تقع في هذه الأخطاء هو أفضل نموذجين.

الامتناع عن التصرف وحده لا يضمن الجودة. فنموذج Qwen3.8-27B لا يكاد يخطئ بالامتناع (0% Inaction)، لكنه يختار L0 في 0,38% من الحالات فقط، ولا يبلغ سوى 55,13% من القبول.

البحث عن البيانات أهم من حجم الاستدلال

تنفق النماذج المفتوحة في المتوسط 4,77 ألف توكن للاستدلال، وتجري 1,21 جولة بحث لكل رد. أما النماذج المغلقة فتنفق 5,53 ألف توكن وتجري 2,55 جولة. أي أن عدد التوكنات لدى النماذج المفتوحة أقل بنحو 14% فقط، بينما البحث أقل بنحو 53%. وفي حالة التذكيرات، يرتبط الرجوع إلى المحتوى المحلي بقبول أعلى، ويقل معه تقييم الرد بأنه «غير كافٍ». أما Claude-Opus5.5، التالي في الترتيب، فينفق نحو 23% من توكنات الاستدلال التي ينفقها المتصدر، ما يعني أن النتيجة العالية ممكنة مع اختلاف استهلاك الموارد.

وحتى عندما يكون توقيت التذكير صحيحًا، كثيرًا ما تكون التذكيرات غير كافية، ويكون التنفيذ مفرطًا.

القيود

يتغير القبول حسب نوع الاحتياج بدرجة طفيفة (54,35–56,00%)، وحسب المجال من 50,88% إلى 58,88%. ويستند التقييم إلى عينة من 800 رد لكل نموذج، وتُحتسب التوكنات وفق قواعد مزودين مختلفين، لذا ينبغي توخي الحذر عند مقارنة الاستهلاك. ويولّد نموذج السيناريوهات، وإن كان البشر يراجعونها. والخلاصة للمطورين: ينبغي قياس المساعد الاستباقي بمدى ملاءمة توقيت الإجراءات وحجمها، لا بعدد الاحتياجات التي يكتشفها، وإبقاء L0 وL1 وضعين آمنين افتراضيين في المنتج.