دراسة: فشل عشوائي واحد يدفع وكيل الذكاء الاصطناعي إلى التخلي عن أداة فعّالة في 11.6% من الحالات

خطر خفي في ذاكرة وكلاء الذكاء الاصطناعي

عندما يحتفظ وكيل الذكاء الاصطناعي بسجل عمله الخاص ويكتب لنفسه "ملاحظات" للمستقبل، ينشأ خطر خفي: قد تؤدي نتيجة فاشلة عشوائية بحتة إلى تشويه دائم لموقفه تجاه حلٍّ فعّال في الأصل. هذا بالضبط ما فحصه مؤلفو دراسة نُشرت على arXiv (2610.33029)، في تجربة مسجَّلة مسبقاً بدقة صارمة — حيث تم تجميد البروتوكول والكود وبيانات الاختبار وتوقيتها (عبر خدمة Zenodo وتسجيل على سلسلة بلوكتشين بيتكوين) قبل بدء التشغيل الفعلي، لاستبعاد أي تلاعب في النتائج لتلائم استنتاجاً مرغوباً.

كيف بُنيت التجربة

صمّم الباحثون 256 "عالماً" افتراضياً — مهام متكررة مثل تصدير البيانات أو إرسال الفواتير — حيث يتوفر للوكيل أداتان قابلتان للتبادل. الأولى موثوقة (نجاح بنسبة 80-93% في آخر عدة مئات من التنفيذات)، والثانية أضعف بوضوح (50-70%). في كل عالم، كان يُشغَّل سيناريو يختار فيه الوكيل الأداة الموثوقة بشكل صحيح — وكانت نتيجة هذا الاختيار تُحدَّد بشكل مصطنع: نجاح أو فشل مؤقت عشوائي لا علاقة له بجودة القرار نفسه.

وبعد ذلك التنفيذ، كان النموذج — وفق منهجية ReasoningBank، المستخدمة على نطاق واسع في أنظمة الوكلاء للتعلم الذاتي — يكتب "درساً" نصياً استناداً إلى النتيجة. ثم تُشغَّل جلسة جديدة "نظيفة" لنفس النموذج بدور القارئ: ترى السجل الكامل والموثوق لجميع التنفيذات السابقة، وتعرف نتيجة التشغيل الأخير، وتحصل على أحد عدة أنواع من الذاكرة — إما الدرس نفسه، أو درس مكتوب بعد نتيجة معاكسة، أو حقيقة محايدة لا علاقة لها بالمهمة، أو تعليمة مباشرة (دون أي تبرير) باستخدام الأداة الأضعف. وبلغ إجمالي الردود المجمَّعة من 11 نموذجاً 90,084 رداً.

ما أظهرته الأرقام

النتيجة الأساسية: عندما احتوت الذاكرة على درس مكتوب بعد فشل عشوائي للأداة الموثوقة، اختار النموذج القارئ الأداة السيئة في 11.6% من الحالات — رغم أن السجل أظهر بوضوح أن هذه الأداة أضعف بكثير. وللمقارنة، مع إشارة محايدة، لم يحدث الخطأ إلا في 0.4% من الحالات — وهي النسبة نفسها تماماً في حالة وجود درس مكتوب بعد نجاح (لا فشل) تلك الأداة الموثوقة نفسها. أي أن الأمر لا يتعلق بالفشل نفسه، بل بالطريقة التي صاغ بها النموذج ذلك الفشل و"عمّمه" في الدرس.

وظهر التأثير أقوى في العوالم التي لم يوضّح سجلها بشكل مباشر أن الأعطال أحداث عشوائية مستقلة عن بعضها. فعندما نصّ السجل بوضوح على أن "الأعطال عشوائية وغير مرتبطة فيما بينها"، كان النموذج يستنتج الخطأ بوتيرة أقل. أما الحالة المعكوسة — نجاح عشوائي للأداة السيئة — فأظهرت تأثيراً أضعف لكنه ليس معدوماً: إحصائياً، لا يستطيع المؤلفون سوى القول بأن "الضرر غالباً محدود"، دون إثبات غيابه الكامل.

ومن بين 11 نموذجاً، نقلت 6 نماذج بوضوح أثر العشوائية إلى القرار التالي: Gemini 3.8 Flash، وGrok 4.7، وQwen 3.8 Max، وDeepSeek V4 Pro، وMistral Large 4، وKimi K3. وأظهرت 5 نماذج — جميع إصدارات Claude الثلاثة (Opus 5.5، Sonnet 5.5، Haiku 5.5)، إضافة إلى GPT-6.1 Sol وGPT-6 Luna — نتيجة أقل من 10%، رغم أن التأثير لم يختف تماماً حتى عندها.

هل يمكن تصحيح هذا الخلل؟

جرّب المؤلفون تعديلين بسيطين على التعليمة التي يكتب النموذج بموجبها دروسه. فإضافة ثلاث جمل تطلب "تقييم جودة القرار، لا نتيجته فقط" خفّضت نسبة الاختيارات الخاطئة بعد الفشل العشوائي من 11.6% إلى 7.5%. كما أدت تعليمة موحدة لكلا النتيجتين (دون تمييز بين "النجاح" و"الفشل")، مع خيار صريح بأن "لا حاجة لتغيير أي شيء"، إلى تأثير أوضح بلغ 3.1%. لكن لم يُفضِ أي من التعديلين إلى خفض النسبة إلى الصفر في جميع النماذج الـ11 معاً، أي أنه لا يوجد حتى الآن حل موثوق تماماً.

وبالنسبة للفرق التي تبني وكلاء بذاكرة طويلة المدى وتعلم ذاتي قائم على سجلاتها الخاصة، فإن الاستنتاج عملي: النقل الآلي لـ"دروس" مستخلصة من نتائج فردية إلى قواعد سلوكية يمثل نقطة ضعف. وفي غياب تمييز واضح بين جودة القرار وعشوائية نتيجته، يصبح الوكيل معرضاً للتخلي عن أدوات وعمليات فعّالة بسبب سوء حظ عابر واحد — وسيتمسك بعناد بهذا الاعتقاد الخاطئ، إلى أن يعيد أحدٌ كتابة ذاكرته يدوياً.