وكلاء GPT يفقدون ما يصل إلى 11,3 نقطة من الدقة عندما يُحفظ تقرير المحاكي في ملف

صحة حسابات الوكيل لا تضمن صحة إجابته. تُظهر ورقة بحثية جديدة ظهرت في Hugging Face Daily Papers كيف يحدث ذلك في مخطط شائع لإدارة السياق: يُحفظ المخرج الطويل للأداة في ملف، ويبحث الوكيل فيه عمّا يحتاجه عبر فهرس للأقسام. على المحاكي الجيوكيميائي PHREEQC من USGS، يفقد GPT-5.1 وGPT-5.2 في هذا النمط 11,3 و7,9 نقطة من الدقة. أما Claude Opus 4.6 وClaude Sonnet 4.6 فلا يُظهران خسارة تُذكر.

ميدان اختبار يمكن فيه تتبع كل رقم

لم يُختر PHREEQC مصادفةً. فهو محاكٍ واسع الاستخدام، وتصل تقاريره إلى 846,8 тыс. символов، أي 846,8 ألف رمز. وهو حتمي (deterministic)، ولذلك يمكن تتبع أي قيمة مطبوعة حتى مصدرها. حلّ الوكلاء 158 سؤالًا من نوع الاختيار من متعدد، وتأكدت صحة كل إجابة بالتنفيذ. يتيح هذا الإعداد الفصل بين سببين محتملين للخطأ: أن يكون النموذج شغّل المحاكاة تشغيلًا خاطئًا، أو أن يكون قرأ النتيجة قراءة خاطئة.

أعاد المؤلفون تشغيل جميع استدعاءات المحاكي المسجّلة وعددها 11 007، وفحصوا عدد المرات التي يحصل فيها الوكيل أصلًا على القيمة المطلوبة. لم تتغير هذه النسبة تقريبًا لدى نموذجَي GPT. أي أنهما لم يصبحا أسوأ في إجراء المحاكاة. الذي تغيّر هو المصدر الذي يستخرجان منه الإجابة.

استبدال الأدلة

يسمّي المؤلفون هذا الخلل evidence substitution. حين يتعين البحث عن التقرير عبر الفهرس، كثيرًا ما تتخطاه نماذج GPT. فتجيب اعتمادًا على ملفات المخرجات الخاصة بها، وهي تسجّل الأرقام بدقة أعلى، فتخطئ عند التقريب وتختار الخيار المجاور. الحساب صحيح، لكن الخيار المختار خاطئ.

ولا يُفسَّر هذا الأثر بأن النموذج أضعف في الحساب. فعند تثبيت المحاكاة، يظل البحث يكلّف GPT-5.2 ما مقداره 9,4 نقطة. أما مع GPT-5.4 فالصورة أكثر إثارة للاهتمام: التغيّر الإجمالي لا يمكن تمييزه عن الصفر. لكن هذا الصافي الصفري ينتج عن أثرين متعاكسين. فالمحاكاة الصحيحة الأكثر تكرارًا تضيف دقة، بينما تقتطع الخسارة الناجمة عن طريقة استخدام الأدلة نحو عشر نقاط. وهكذا يُخفي المقياس النهائي المشكلة.

أبرز أرقام الدراسة:

• 158 مهمة مع تحقق بالتنفيذ؛
• ما يصل إلى 846,8 ألف رمز في تقرير واحد؛
• 11 007 استدعاءات للمحاكي أُعيد تشغيلها؛
• −11,3 نقطة لدى GPT-5.1 و−7,9 لدى GPT-5.2 عند القراءة عبر الفهرس؛
• −9,4 نقطة لدى GPT-5.2 مع محاكاة ثابتة؛
• نحو −10 نقاط خسارة خفية لدى GPT-5.4؛
• من +6,3 إلى +7,9 نقطة لدى ثلاثة نماذج GPT عند تسمية ملف المخرجات المرجعي.

ما الذي يفيد وما الذي لا يفيد

أفضل ما ينجح هو التحديد المباشر لأي مخرج يُعدّ الرئيسي. فذكر اسم الملف المرجعي في التعليمات (prompt) يرفع الدقة بمقدار 6,3–7,9 نقطة مقارنةً بالبحث المعتاد لدى نماذج GPT الثلاثة. وبالنسبة إلى GPT-5.1 وGPT-5.2، يعطي إدراج المخرجات في السياق النتيجة الجيدة نفسها إذا كان حجمها يسمح بذلك. أما طلب «التقريب الصحيح» فلم يُحدث أثرًا: فالنموذج يعرف قواعد التقريب، لكنه لا يدرك أي مصدر ينبغي أن يثق به.

ثمة خلاصة عملية واحدة لمن يبنون أغلفة الوكلاء (agent harnesses): لا يكفي تقييم قرار حفظ المخرجات خارج السياق بالاعتماد على الدقة النهائية وحدها. يجب الفصل بين جودة استدعاء الأداة وجودة استخدام نتيجتها، كما فعل المؤلفون بالاستعانة بالسجلات. وإلا فقد يُفهم خطأً أن النتيجة المحايدة ظاهريًا لدى GPT-5.4 تعني غياب المشكلة.

إذا كان التقرير يتسع له السياق، فمن الأبسط إدراجه كاملًا. وإن لم يتسع، فينبغي أن تسمّي التعليمات الملف الرئيسي صراحةً، وأن تمنع استبداله بنسخ وسيطة أو أكثر دقة. وأخيرًا، عند اختيار نموذج لوكلاء يتعاملون مع مخرجات أدوات طويلة، من المفيد اختبار هذا السيناريو تحديدًا: ففي هذا الاختبار تحمّل Claude Opus 4.6 وSonnet 4.6 البحث في الملفات دون خسارة تُذكر، بينما لم تنجح نماذج GPT في ذلك.