الوكلاء يتعلمون من سوء الحظ: دروس LLM تنقل العطل العشوائي إلى القرارات

لم يفشل الوكيل في المهمة لأنه اختار أداة سيئة، بل لأن الأداة لم يحالفها الحظ. فهو يكتب في ذاكرته «درسًا»، وفي التشغيل التالي يدفعه هذا الدرس إلى الخطأ. قاس Kazuki Nakayashiki مدى تكرار ذلك في دراسة مسجَّلة شملت 90 084 إجابة من 11 نقطة نهاية (endpoint) لنماذج LLM. فحين تعطلت أداة موثوقة بالصدفة، نقلت الدروس التي كتبتها النماذج هذه العشوائية إلى الاختيار التالي في 11,6% من الحالات. أما في الظروف الضابطة فبلغت هذه الاختيارات 0,4%.

كيف رُصدت العشوائية عند الانتقال من الذاكرة إلى القرار

تكتب الوكلاء ذاتية التحسين، مثل تلك التي تستخدم ReasoningBank، ملاحظات قصيرة بعد التشغيلات وتحمّلها في الجلسات المقبلة. وإذا كانت النتيجة مشوّشة، فقد تثبّت الملاحظة الحظ الجيد أو السيئ بوصفه قاعدة ثابتة. واختبر المؤلف حلقة واحدة فقط من هذه السلسلة: هل يؤثر الدرس الجاهز في الاختيار التالي.

تصميم التجربة كالتالي: اعتُمد 256 عالمًا اصطناعيًا. في كل عالم مهمة واحدة تتكرر وأداتان قابلتان للاستبدال بموثوقية معروفة. كان التشغيل السابق مكتوبًا مسبقًا: استخدم إما الأداة الأكثر موثوقية (قرار جيد) وإما الأقل موثوقية (قرار سيئ). وحُددت النتيجة أيضًا سلفًا: نجاح أو عطل مؤقت. كتب النموذج درسًا وفق تعليمات ReasoningBank. بعد ذلك تلقّت جلسة جديدة من النموذج نفسه سجلًا موثوقًا ونتيجة التشغيل السابق، ثم اختارت الأداة الأولى. وكان في الذاكرة سجل واحد فقط من أربعة: درس من هذا التشغيل، أو درس من النتيجة المعاكسة، أو سجل غير ذي صلة، أو توجيه دون تفسير للأسباب.

جُمّد البروتوكول ونُشر، ووُضع له ختم زمني في كتلة على شبكة بيتكوين قبل أول استدعاء تأكيدي. وسجلات التشغيلات متاحة للاطلاع.

ماذا أظهرت الأرقام

• بعد عطل عشوائي في أفضل أداة، بلغ التفاعل +0,112 (فاصل ثقة 95% من +0,097 إلى +0,126). وفي شرط «luck-carrying» اختارت النماذج القارئة للدروس الأداة الأسوأ في 11,6% من التشغيلات اللاحقة التي حملت درسًا مستخلصًا من هذا العطل.
• مع السجل غير ذي الصلة بلغت النسبة 0,4%، ومع الدرس المستخلص من النجاح بلغت 0,4% أيضًا.
• إذا نصّ السجل صراحةً على أن الأعطال مستقلة، بلغ الأثر +0,042. وإذا لم ينص على ذلك، بلغ +0,181 (بيانات وصفية).
• بعد نجاح محظوظ للأداة الأسوأ، بلغ التفاعل +0,002 وكان محدودًا من الأعلى بالعتبة 0,10. ويشدد المؤلف على أن هذه حدّ أعلى وليست دليلًا على غياب الضرر.
• في التحليل الاستكشافي، نقلت 6 نقاط نهاية العشوائية، وبلغ الأثر لدى إحداها +0,352. أما 5 نقاط نهاية أخرى فبقيت ضمن العتبة 0,10.

النتيجة غير متجانسة بين النماذج. فالأثر موجود في المجموعة ككل، لكنه لا يظهر بوضوح لدى جميعها.

هل يمكن علاج المشكلة بتعديل التعليمات

اختبر المؤلف صيغتين لتعديل تعليمات كتابة الدرس. فقد خفضت ملاحظة من ثلاث جمل عن جودة القرار نسبة اختيار الأداة الأسوأ بعد العطل العشوائي إلى 7,5%. وخفضتها تعليمات موحدة للنتيجتين مع خيار «لا تغيّر شيئًا» إلى 3,1%. ولم تجتز أي من الصيغتين القاعدة المسجَّلة لخفض الضرر في كل نقطة نهاية، ولذلك فهو علاج جزئي. وهذه المقارنات ثانوية.

للدراسة حدود. فالعوالم اصطناعية، والأدوات اثنتان، والأعطال مؤقتة، وقيس التأثير على الاختيار الأول في التشغيل التالي. أما كيف يتراكم الأثر عبر تكرارات كثيرة للذاكرة، فلم يُختبر هنا.

نصائح عملية لمن يبني وكلاء بذاكرة

أولًا: إذا كان لدى الوكيل طبقة تأمل ذاتي (reflection)، فلا تكتفِ بتسجيل النتيجة في السجل، بل أضف عبارة صريحة عن طبيعة الأعطال، مثل أنها مستقلة. والفرق بين +0,042 و+0,181 يبيّن أن هذه أرخص وسيلة حماية. ثانيًا: امنح النموذج الذي يكتب الدرس حق الإجابة بـ«لا تغيّر شيئًا». ثالثًا: اختبر الذاكرة على نتائج مشوّشة انتهى فيها اختيار جيد بفشل، ولا تكتفِ بالسيناريوهات القطعية التي يكون فيها كل شيء محددًا سلفًا. رابعًا: لا تعمّم نتيجة نموذج واحد، لأن الأثر لدى 5 من 11 نقطة نهاية لم يتجاوز العتبة.