علماء يكتشفون: وكلاء الذكاء الاصطناعي يخلطون بين الحقائق القديمة والجديدة في الذاكرة حتى بعد البحث الصحيح

مشكلة الذكريات المتناقضة

إذا كان لدى وكيل الذكاء الاصطناعي ذاكرة طويلة المدى — على سبيل المثال، يتذكر محادثة مع مستخدم على مدى نصف عام، أو قاعدة حقائق عن عميل — فسيتراكم في هذه الذاكرة عاجلاً أم آجلاً تناقضات: ما كان صحيحًا بالأمس لم يعد صحيحًا اليوم. طرح فريق من الباحثين من جامعة أوتو فون غيريكه في ماغدبورغ (ألمانيا) وجامعة كيرالا (الهند) سؤالاً بسيطًا: إذا عثر نظام البحث في الذاكرة على النسخة القديمة والجديدة من حقيقة معينة، فهل سيستطيع نموذج اللغة اختيار النسخة الصحيحة والحالية بدقة؟

الإجابة المختصرة: ليس دائمًا، وكلما زاد «الضجيج» حول الحقيقة الصحيحة، زاد الأمر سوءًا.

كيف جرى الاختبار

اعتمد الباحثون على مهمة FactConsolidation من مجموعة اختبارات MemoryAgentBench — وهي مجموعة من العبارات المرقّمة، حيث يشير الرقم الأحدث إلى النسخة الأكثر حداثة من الحقيقة. الحقائق هذه مُصنّعة وتتعارض عمدًا مع المعرفة العامة المعتادة عن العالم (فعلى سبيل المثال، المؤلف الحقيقي للمسرحية ليس الشخص الذي قد يذكره النموذج استنادًا إلى معرفته المسبقة من الإنترنت)، وذلك للتحقق بدقة من أن النموذج يستخدم السياق المُقدَّم له فعليًا، لا معرفته الداخلية.

جرى اختبار نموذجين — Qwen2.5-7B-Instruct وQwen3-14B، شُغِّلا عبر Ollama على خادم GPU جامعي. تم البحث عن العبارات ذات الصلة باستخدام خوارزمية BM25 (طريقة كلاسيكية لترتيب النصوص بناءً على تطابق الكلمات)، مع تغيير حجم النتائج المسترجعة بين 64 و512 رمزًا.

ماذا اكتشف الباحثون

النتيجة الأولى المفاجئة: عند زيادة حجم البيانات المسترجعة من 64 إلى 512 رمزًا، انخفضت دقة Qwen2.5 على سجل من 455 عبارة من 45% إلى 32%. قد يبدو منطقيًا أن سياقًا أكبر يعني فرصًا أكبر للعثور على الإجابة الصحيحة. لكن فحصًا إضافيًا أظهر أن الحقيقة المطلوبة، الأحدث، كانت موجودة في النتائج المسترجعة في جميع الأسئلة المائة، عند كل مستوى من مستويات الحجم. لم يكن انخفاض الدقة ناتجًا عن فقدان المعلومة المطلوبة، بل عن تزايد تشتت النموذج بين البيانات الزائدة واختياره الحقيقة الخاطئة.

بعد ذلك، ضيّق الباحثون نطاق التجربة إلى اختبار نقي: أخذوا 74 سؤالاً تملك فيه الحقيقة نسخة قديمة، وقارنوا بين مجموعتين متساويتين في الحجم، تحتوي كل منهما على أربع عبارات. في المجموعة الأولى، كانت الحقيقة الحالية مصحوبة بثلاث عبارات عشوائية غير ذات صلة. وفي المجموعة الثانية، تم استبدال واحدة من هذه العبارات العشوائية بالنسخة القديمة من نفس الحقيقة (بينما بقيت النسخة الحالية في مكانها).

كانت النتيجة حادة:

• أجاب Qwen2.5-7B بشكل صحيح على جميع 74 سؤالاً حين كانت العبارات المحيطة غير ذات صلة فقط. لكن عندما استُبدلت واحدة منها بحقيقة قديمة، انخفضت الدقة إلى 33 إجابة صحيحة من 74 (44.6%).
• أظهر Qwen3-14B ثباتًا أكبر: انخفضت دقته من 100% إلى 87.8% (9 أخطاء من أصل 74).
• جميع الأخطاء دون استثناء في الحالتين كانت تحديدًا اختيار الحقيقة القديمة الملغاة، وليس ضجيجًا عشوائيًا أو تخمينات.

بعبارة أخرى، تبيّن أن الحقيقة المتقادمة بنفس الحجم أكثر خطورة بكثير على النموذج من نص غير ذي صلة فقط — مع أن المنطق البديهي يفترض أنه بما أن الإجابة الصحيحة واضحة في السياق، وأنه مذكور صريحًا أن «الرقم الأحدث له الأولوية»، فمن المفترض أن يتعامل النموذج مع الأمر بسلاسة.

تم تأكيد هذا التأثير أيضًا على سجل ذاكرة أكبر حجمًا — 2310 عبارة و100 سؤال: بلغت الدقة عند البحث الضيق (64 رمزًا) 69%، وعند البحث الواسع (512 رمزًا) 58%. وكانت جميع الأخطاء في هذه العينة أيضًا عبارة عن اختيار الحقيقة المتقادمة.

لماذا هذا مهم

الاستنتاج العملي الأساسي: لا يمكن تقييم نظام ذاكرة وكيل الذكاء الاصطناعي برقم دقة إجمالي واحد. يجب التمييز بين سؤالين مختلفين — هل عثر نظام البحث على الحقيقة الصحيحة الحالية، وهل اختار النموذج تحديدًا هذه الحقيقة، لا النسخة القديمة، في حال وجود الاثنتين في السياق. فإذا قِيست فقط الدقة النهائية للإجابة، يسهل الخلط بين مشكلة البحث ومشكلة «التفكير» في النموذج — مع أن الحلول لكل منهما مختلفة.

يقترح الباحثون توجهًا عمليًا محددًا لمطوري أنظمة الذاكرة: عدم الاكتفاء بالعثور على جميع الحقائق ذات الصلة وتقديمها للنموذج كما هي، بل وضع علامة صريحة على السجلات المتقادمة باعتبارها غير نشطة، أو تقليل وزنها عند الاسترجاع، مع الحفاظ في الوقت نفسه على سجل التغييرات لضمان الشفافية. بخلاف ذلك، فإن أي نظام تتحدّث ذاكرته بمرور الوقت — سواء كانت ذاكرة نظام إدارة علاقات العملاء، أو مساعدًا شخصيًا، أو قاعدة معرفة مؤسسية — يظل معرضًا لخطر تقديم معلومات مُلغاة منذ زمن للمستخدم، حتى لو كان النظام قد «عثر» تقنيًا على الحقيقة الصحيحة الحالية.

قيود الدراسة: جرى اختبار نموذجين فقط من عائلة Qwen على مجموعة اختبار واحدة مصنّعة، بسلاسل تحديث بسيطة نسبيًا (لا تتجاوز نسختين من الحقيقة). ويعترف الباحثون صراحة بأنهم لم يفحصوا هذا التأثير على عائلات نماذج أخرى، ولا على أنظمة البحث الشعاعي (المتجهي) بخلاف البحث اللفظي — لذا لا يمكن اعتبار هذا استنتاجًا عالميًا حقًا بعد، لكن المؤشر يستحق بوضوح أن يؤخذ بعين الاعتبار عند تصميم ذاكرة الوكلاء.