تجاهل الوكلاء تلميح قراءة الذاكرة في 7 جلسات من أصل 7 — تحليل 13 ألف سجل

نشر فريق kaeru، الذي يطوّر ذاكرة طويلة الأمد لوكلاء الذكاء الاصطناعي مثل Claude Code وCodex وCursor، تحليلًا لسجلاته الخاصة: أكثر من 13 ألف ملف لجلسات عمل بين يونيو وسبتمبر. النتيجة الرئيسية: في 7 جلسات ظهر فيها للوكيل تلميح «يمكنك قراءة الاستدلالات المحفوظة»، لم يقرأها ولو مرة واحدة، مع أنه نفّذ تلميحًا آخر، «اربط السجل بالسابق»، 751 مرة. صمّم المطوّرون المنتج لأشهر «بالحدس»، ثم تحقّقوا من الطريقة التي يستخدم بها الوكلاء الذاكرة فعليًا. تبيّن أن كثيرًا من افتراضاتهم لم يكن صحيحًا، وأغلب الاستنتاجات لا تخص kaeru وحده، بل كل من يكتب خادم MCP أو hooks أو تعليمات طويلة للوكلاء.

ما هو kaeru وماذا جرى اختباره

kaeru خادم محلي يتصل به الوكيل عبر MCP، وهو البروتوكول القياسي لاستدعاء الأدوات الخارجية. أثناء العمل يكتب الوكيل بنفسه سجلات: ملاحظات وقرارات ومهام بمواعيد نهائية وفرضيات مع نتائج التحقق منها. ترتبط السجلات ببعضها بروابط موزونة، ما يتيح حفظ سلسلة الاستدلال كاملة. لا تُستبدل الحقيقة المصحَّحة بالكتابة فوقها، بل تُغلق النسخة القديمة بتاريخ. عند دخول مشروع ما يتلقى الوكيل ملخصًا يبيّن ما هو ساري، وما فات موعده، وأي استدلالات موجودة مسبقًا. كل هذا لا يعمل إلا إذا قرأ الوكيل الذاكرة قبل أن يطرح سؤالًا، وسجّل ما توصل إليه، وعلّم ما أصبح قديمًا.

يذكر المؤلفون القيود بصراحة: هذه سجلاتهم الخاصة وليست عيّنة من السوق. وتختلف العيّنات من قسم إلى آخر، من آلاف الأحداث إلى سبع جلسات أو سجلات مستخدم واحد. وقد قاسوا سلوك الوكلاء لا الفائدة: فالفريق لا يعرف بعد كم من الوقت أو الرموز (tokens) توفّر الذاكرة في كل مهمة، ويُعدّ بنفسه benchmark لقياس ذلك.

الدَّين يُسدَّد والفرصة تُهمَل

أُضيف عند الدخول إلى المشروع تلميح «في المشروع استدلالات محفوظة، يمكنك قراءتها». خلال أربعة أيام ظهر التلميح للنموذج في 7 جلسات ولم يقرأ الاستدلالات ولو مرة واحدة، رغم أن الوكلاء حفظوا في الفترة نفسها 17 استدلالًا جديدًا. فهم مستعدون للكتابة، لا لإعادة القراءة.

أما التلميح الآخر، «اربط هذا السجل بالسجل الذي نشأ منه»، فكان يصل مباشرة بعد الكتابة، ونُفّذ 751 مرة. وهو الإجراء الأكثر تكرارًا في المنتج كله. في الإصدار 0.8 يُحدَّد الرابط مباشرة في استدعاء الكتابة، ولا حاجة إلى تلميح منفصل. الفرق في التوقيت: التلميح الثاني يكمل ما يفعله الوكيل أصلًا، أما الأول فيطلب منه ترك مهمته والانشغال بأمر جانبي.

والصورة نفسها في الملخص. عند سطر «سجلان قيد التساؤل بانتظار القرار» عالج الوكلاء السجلات المتنازع عليها 8 مرات، وتُغلق المهام المتأخرة بانتظام، بينما لم يؤدِّ سطر «يمكنك قراءة الاستدلالات المحفوظة» أي نتيجة ولو مرة واحدة. وصار كل ما في الملخص يُصاغ الآن على هيئة دَين.

الـ hooks والتعليمات المقتطعة والمعاملات الاختيارية

في سجلات مستخدم واحد، جاء 80% من أسئلة الوكيل للإنسان دون أي رجوع إلى الذاكرة خلال العشر دقائق السابقة؛ وبلغ الوسيط 74 دقيقة منذ آخر قراءة. لمعالجة ذلك أُنشئ hook، وهو سكربت يشغّله العميل في لحظة محددة. حين يوشك الوكيل على تسليم الدور للإنسان، يبحث الـ hook في الذاكرة عن مواد ذات صلة بالموضوع، ويرسل الوكيل مرة واحدة لقراءتها. اعتمدت النسخة الأولى على علامة «؟» لتحديد التوجّه إلى الإنسان. في 2 608 توقفات للوكيل ضمّت 1 164 توجّهًا إلى الإنسان، رصدت منها 201، أي 17%. وفي 856 حالة كانت طلبات بصيغة الأمر: «قل لي»، «أرسل التقرير»، «أحتاج ردّك بشأن المورّد». الوكلاء يطلبون أكثر مما يسألون.

وأكثر النتائج إزعاجًا أن العميل اقتطع تعليمات خادم MCP عند 2 048 حرفًا، ولم يلحظ أحد ذلك لمدة شهرين. من بين الأدوات المذكورة قبل نقطة القطع لم تُستخدم 9% منها، وبين المذكورة بعدها 31%، وهي النسبة نفسها للأدوات التي لا تذكرها التعليمات إطلاقًا. أما بالنسبة للنموذج، فذيل التعليمات لم يكن موجودًا أصلًا. اليوم يبلغ طول النص التمهيدي في kaeru 1 499 حرفًا.

والأمر نفسه مع المعاملات. كان وزن الرابط اختياريًا بقيمة افتراضية. خلال 6 003 استدعاءات لأدوات الذاكرة أنشأ الوكلاء 1 262 رابطًا ولم يحددوا الوزن ولو مرة واحدة. وفي الإصدار 0.8 صار إلزاميًا. أما في التذكيرات فمدة العرض إلزامية منذ البداية: فـ«الشهادة تنتهي صلاحيتها» و«أعد قياس الرقم قبل الاقتباس منه» تتطلبان مددًا مختلفة، ولا يعرفها إلا كاتب السجل.

وكان أفضل ما نجح هو التنظيف الخلفي الذي لا يطلب شيئًا من الوكيل: فمنذ التمريرة الأولى وزّع بنفسه 33 سجلًا متراكمًا على الطبقات.

يمكن تلخيص الاستنتاج العملي للفريق في خمس قواعد:

• ما يلزم الوكيل يجب أن يصله تلقائيًا، داخل الرد الذي يتلقاه أصلًا؛
• الصياغة على هيئة دَين: «بانتظام القرار» لا «يمكنك الاطلاع»؛
• التلميح في لحظة الفعل، لا في بداية الجلسة بكل شيء دفعة واحدة؛
• المعاملات الإلزامية تُصمَّم دون قيم افتراضية؛
• إبقاء التعليمات قصيرة، والتحقق من مقدار ما يصل منها إلى النموذج في عميلكم.

الشيفرة المصدرية لـ kaeru منشورة على GitHub، وستعرض المقالة القادمة من السلسلة كيف يبدو يوم العمل مع مراعاة هذه الاستنتاجات.