الحقائق القديمة في ذاكرة الوكيل تخفض دقة Qwen2.5 من 100% إلى 44.6%

زيادة السياق المسترجع لا تعني بالضرورة إجابة أفضل. أثبت ذلك باحثون من مجموعة Oleeviya Babu Poikarayil (سبعة مؤلفين) في مهمة FactConsolidation من اختبار MemoryAgentBench. على تاريخ بحجم 6K رمز، يجيب Qwen2.5-7B-Instruct مع البحث بـ BM25 إجابة صحيحة في 45% من الحالات عندما يُزوَّد بـ 64 رمزًا من الأدلة المسترجعة. وعند 512 رمزًا تنخفض الدقة إلى 32%. ويحدث ذلك رغم أن تدقيقًا بتصنيف «ذهبي» وجد العبارة الأحدث في كل نتيجة استرجاع دون استثناء.

أين تنكسر السلسلة: في البحث أم في القراءة

تكتفي كثير من اختبارات ذاكرة الوكلاء بدرجة نهائية واحدة للحلقة «عثر ثم أجاب». وإذا انخفضت الدرجة، يتعذر معرفة السبب: هل أخفق البحث في جلب التحديث، أم تلقّاه النموذج ولم يستفد منه رغم ذلك؟ فصل المؤلفون بين الخطوتين. في نسخة single-hop من FactConsolidation تحققوا مما إذا كانت النسخة الراهنة من الحقيقة ضمن المقاطع المسترجعة. كانت موجودة دائمًا. إذن تكمن المشكلة في طريقة قراءة النموذج لنتائج الاسترجاع.

وقعت معظم الأخطاء في الأسئلة التي ظهرت فيها النسخة القديمة من الحقيقة إلى جانب العبارة الجديدة. فالميزانية الأكبر ترفع احتمال أن يتسلل إلى السياق سجل قديم عن الكيان نفسه. يرى النموذج عبارتين متعارضتين، وكثيرًا ما يختار الخاطئة.

تجربة مضبوطة: حقيقة قديمة مقابل عبارة محايدة

لاستبعاد أثر الطول، ثبّت المؤلفون الموجِّه (prompt) وحجم الأدلة عند أربع عبارات. في إحدى الإعدادات كانت إحدى العبارات دخيلة. وفي الإعداد الآخر استُبدلت بها نسخة قديمة منافسة للحقيقة المطلوبة. بقي حجم السياق ثابتًا، ولم يتغير سوى طبيعة عبارة واحدة.

• Qwen2.5-7B-Instruct: تنخفض الدقة من 100% إلى 44.6%.
• Qwen3-14B: تراجع من 100% إلى 87.8%.
• صُنّفت جميع حالات التبديل الزوجي الضارة، وعددها 50 (كانت الإجابة صحيحة فأصبحت خاطئة)، على أنها stale، أي أن الإجابة أُخذت من العبارة القديمة.

خلاصة المؤلفين: العبارة القديمة تضر أكثر من دليل محايد بالحجم نفسه. الرموز الزائدة ليست مسؤولة بحد ذاتها. المسؤول هو المحتوى المتعارض الذي يبدو وثيق الصلة.

تكرار التجربة على تاريخ طويل

على تاريخ بحجم 32K رمز جاءت النتيجة متطابقة. يحقق BM25 بميزانية 64 رمزًا نسبة 69%، وبميزانية 512 رمزًا 58% فقط. وهكذا تتفوق النتائج المحدودة مجددًا على الواسعة. قُبل البحث في ورشة NeurIPS 2026 Workshop on Personalized, Aligned, Long-Term Memory for AI Systems (PALM)، ويقع في 23 صفحة مع الملاحق.

ما الذي ينبغي تغييره في أنظمة الوكلاء

هذه استنتاجات مستمدة من نتائج الورقة، وليست وصفات اختبرها المؤلفون بأنفسهم. لكنها تفرض نفسها.

• المقاييس. ينبغي قياس recall نتائج الاسترجاع (هل الحقيقة الراهنة موجودة) وجودة القراءة (هل استُخدمت) كلًا على حدة. المؤشر الشامل الواحد يخفي سبب الإخفاق.
• ميزانية السياق. يجب ضبطها على المهمة المحددة. في الاختبارين معًا أعطت ميزانية 64 رمزًا نتيجة أفضل من 512، كما أنها أرخص من حيث الرموز في كل استدعاء. وبالنسبة إلى الوكلاء ذوي الجلسات الطويلة، يتراكم هذا الوفر.
• الكتابة في الذاكرة. إذا حلّت عبارة جديدة محل قديمة، فمن الأفضل وسم القديمة بأنها استُبدلت أو حذفها عند الكتابة، بدل الرهان على أن النموذج سيتدبر الأمر عند القراءة. كما ينبغي أن تساعد الطوابع الزمنية وأرقام الإصدارات في نتائج الاسترجاع.
• المعالجة اللاحقة لنتائج الاسترجاع. قبل تمريرها إلى النموذج، من المعقول تجميع العبارات المتعلقة بكيان واحد والإبقاء على الأحدث فقط. وهذا مهم خصوصًا للنماذج الصغيرة: فالفجوة بين Qwen2.5-7B وQwen3-14B تظهر أن النموذج الأقوى أكثر صمودًا، لكنه ليس محصّنًا.

أما من يبني مساعدين شخصيين ووكلاء برمجيين بذاكرة طويلة، فالمستخدمون يغيّرون تفضيلاتهم وعناوينهم وإعداداتهم باستمرار، ولذلك تتراكم النسخ القديمة حتمًا. وتوسيع نافذة الاسترجاع «تحسبًا» أخطر مما يبدو. الأجدر التفكير أولًا فيما سيدخل المخزن أصلًا، وفي كيفية تنظيفه.