ضغط ذاكرة وكلاء الذكاء الاصطناعي يفقد ثلث قواعد المهمة، لكن معايير التقييم تتغاضى عن ذلك

ضغط ذاكرة وكلاء الذكاء الاصطناعي يفقد ثلث قواعد المهمة، لكن معايير

التقييم تتغاضى عن ذلك

عندما يعمل وكيل ذكاء اصطناعي على مهمة لعدة ساعات — كأن يكتب كوداً أو يحاول إعادة إنتاج ورقة بحثية علمية — فإنه عاجلاً أم آجلاً يستهلك كامل نافذة السياق المتاحة له: المحادثة، واستدعاءات الأدوات، ونتائج تلك الاستدعاءات. ولمواصلة العمل، يستخدم مطوّرو أنظمة الوكلاء مثل Claude Code وCodex CLI وCursor وOpenCode تقنية تُدعى "ضغط السياق" (compaction): يُطلب من النموذج تلخيص كل ما تم إنجازه بشكل مقتضب، ثم يُمحى السجل القديم ويُستكمل العمل بهذا الملخص. والمشكلة أن الملخص، بحكم طبيعته، يفقد تفاصيل — ولا يُعرف بدقة ما الذي يُفقد ومدى خطورة ذلك. وهذا بالضبط ما أراد الباحثان من معهد ماكس بلانك للأنظمة الذكية، سحر عبد النبي ومكسيم أندريوشينكو، التحقق منه.

وللحفاظ على دقة التجربة، اعتمد الباحثان أداة "حاضنة" واحدة ثابتة للوكلاء — وهي الأداة مفتوحة المصدر OpenCode — لضمان ألا تُعزى الفروق في النتائج إلى خصائص منصات برمجية مختلفة. وداخل OpenCode، نفّذ الباحثان خمس طرق مختلفة لضغط السياق، واختبروا أربعة نماذج متقدمة — Claude Opus 4.6، وGPT-5.3-Codex، وGPT-5.4، وGemini 3.1 Pro Preview — على ثلاث مهام عملية طويلة: PaperBench (إعادة إنتاج ورقة بحثية علمية من مؤتمر ICML بالاستناد إلى وصفها، دون الوصول إلى كود مؤلفيها)، وProgramBench (كتابة أداة سطر أوامر من الصفر مع توفّر ملف تنفيذي نموذجي جاهز وتوثيقه فقط)، وPostTrainBench (تدريب شبكة عصبية صغيرة ثم إجراء تدريب إضافي لها على بطاقة رسومية واحدة في غضون 10 ساعات).

حجم نافذة السياق هو العامل الحاسم، أما طريقة الضغط فتأثيرها شبه منعدم

تتعلق النتيجة الرئيسية بالنموذجين اللذين يمتلكان نافذة سياق بمليون رمز — Claude Opus 4.6 وGPT-5.4. فنتائجهما لم تتغير عملياً، سواء ضُغطت الذاكرة كل 160 ألف رمز أو كل 380 ألف رمز — وبقي الفرق ضمن حدود الخطأ الإحصائي. أما GPT-5.3-Codex، التي لا تمتلك سوى نافذة سياق بـ400 ألف رمز، فقد أظهرت نتيجة أضعف بشكل ملحوظ في مهمة PaperBench عند الضغط المبكر والمتكرر: 0.38 نقطة عند عتبة 160 ألف رمز مقابل 0.60 عند عتبة 260 ألف رمز فأكثر — أي أضعف بمقدار الضعف تقريباً. وفي مهمة كتابة الكود (ProgramBench)، لم يظهر هذا الفرق، أما في PostTrainBench فقد تفاوتت النتائج بشدة بحيث لم يكن ممكناً استخلاص استنتاجات واضحة.

كما تحقق الباحثان مما إذا كانت استراتيجية ضغط "أذكى" تفيد مقارنة بمجرد إعادة الصياغة بكلمات مختلفة. وجُرّبت خمس صيغ: ملخص عادي؛ ملخص عادي مع تنظيف نتائج استدعاءات الأدوات القديمة؛ حفظ السجل الكامل في ملف منفصل على القرص قبل الضغط (لإمكانية الرجوع إليه وقراءته بالكامل نظرياً)؛ حذف كتل الاستدلال التي ينتجها النموذج من السجل قبل كتابة الملخص؛ وأخيراً، كتابة الملخص بواسطة نموذج أرخص — Claude Haiku 4.5 — عوضاً عن النموذج الرئيسي المنفّذ للمهمة.

ولم تتفوق أي من هذه الطرق المتقدمة على الملخص العادي في أي من معايير التقييم. بل إن الصيغ الأكثر عدوانية — حذف الاستدلال وتفويض التلخيص لنموذج أصغر — تسببت في انخفاض ملحوظ في نتائج بعض النماذج على PaperBench، وصل إلى 20 نقطة، في حين لم تؤثر على نماذج أخرى على الإطلاق. وهذا يعني أن طريقة الضغط الفعّالة مع نموذج معين لا يمكن تطبيقها ببساطة على نموذج آخر.

إلى أين تختفي قواعد اللعبة

أما الاكتشاف الأكثر إثارة للقلق فلا يتعلق بالأداء بل بالأمان. في مهمة ProgramBench، يحصل الوكيل في البداية على ثلاث قواعد صارمة: عدم نسخ أو تضمين الكود المصدري للبرنامج المرجعي، وعدم الاتصال بالإنترنت (خصوصاً لتجنّب تحميل الكود الأصلي)، وكتابة تطبيق أصلي بالفعل لا مجرد غلاف حول حل جاهز. وهذه القواعد لا توجد إلا في نص الرسالة الأولى — فإذا لم يُعِد الملخص ذكرها عند عملية الضغط، ينساها الوكيل تماماً، على عكس هدف المهمة وتقدمه الخاص، اللذين يمكن استرجاعهما من الملفات المحفوظة على القرص.

وهكذا، بعد أول عملية ضغط للسياق فقط، تختفي في المتوسط قاعدة واحدة من أصل ثلاث. وبعد عملية الضغط العاشرة، تختفي قاعدتان من أصل ثلاث. وفي جلسات المستخدمين الفعلية المأخوذة من مجموعة بيانات SWE-chat، تبدو الصورة مشابهة: يفقد الضغط التعليمات المتعلقة بكيفية عمل الوكيل وما يجب ألا يفعله — وتُفقد هذه التعليمات بمعدل أكبر بحوالي 6 مرات من فقدان المتطلبات المتعلقة بما يجب بناؤه.

لماذا لا تلاحظ الاختبارات الحالية ذلك

يضيف الباحثان ملاحظة مهمة: إن معايير التقييم نفسها، التي يُقيَّم الوكلاء عليها عادة، مصمَّمة بطريقة تجعل الخسائر الناتجة عن الضغط قابلة للاستعادة بسهولة. فهدف المهمة ثابت، ولا يُغيّر المستخدم شيئاً خلال العمل، ويحتفظ الوكيل بكل تقدمه في ملفات على القرص يمكنه الرجوع إليها في أي وقت. ولذلك، من بين كل ما يمحوه الضغط، لا يُفقد فعلياً إلا ما لم يُسجَّل في أي مكان آخر — وفي المقام الأول القيود والقواعد التي ذُكرت مرة واحدة فقط في البداية. وفي الحوارات الفعلية مع المستخدم، حيث تكون التعليمات والتوضيحات أكثر بكثير ولا تُحفظ بشكل منفصل، تكون تكلفة هذا النسيان أعلى بكثير.

والاستنتاج العملي للفرق التي تبني أنظمة وكلاء ذكاء اصطناعي: إذا كانت المهمة طويلة وتنطوي على قيود صارمة مهمة (عدم لمس قاعدة بيانات الإنتاج، وعدم الاتصال بالشبكة، وعدم حذف الملفات دون تأكيد)، فلا يمكن الاعتماد على الملخص العادي للحفاظ عليها — بل ينبغي إما تسجيل هذه القواعد بشكل منفصل عن السجل العام وإعادة قراءتها في كل عملية ضغط، أو اختيار نموذج يمتلك نافذة سياق واسعة والضغط بأقل تكرار ممكن.