ASTC يضغط سياق الوكيل دون تدريب ويخفض Attention Pairs بنسبة 50,68%

تصطدم سيناريوهات الوكلاء الطويلة بنمو السياق: ففي كل خطوة يضيف الوكيل إلى الاستدعاء التالي للنموذج تعليمات النظام والقرارات السابقة ومخرجات الأدوات والشيفرة وملاحظات البيئة. ومعالجة السياق الكامل مكلفة، كما تضطر الحقائق المطلوبة إلى التنافس مع حشو قديم. يقترح مؤلفو ورقة على arXiv أسلوب Agentic Soft-Token Compression (ASTC)، الذي يضغط هذا السياق داخل النموذج نفسه ولا يتطلب تدريب ضاغط منفصل. ووفق بياناتهم، تبقى جودة تنفيذ المهام عند مستوى النموذج غير المضغوط أو أعلى منه، بينما ينخفض عدد Attention Pairs (أزواج «الاستعلام — المفتاح» التي تحسبها آلية الانتباه) على امتداد التشغيل كاملًا إلى 50,68%.

لماذا يُفسد الضغط المعتاد عمل الوكلاء

يفصل المؤلفون ضغط سياق الوكيل عن التلخيص التقليدي. فالسجل يضم نصًا يمكن اختصاره دون ضرر، إلى جانب قيم دقيقة: مسارات ومعرّفات ومجاميع اختبارية (checksums) ووسائط API. وتغيير حرف واحد في قيمة كهذه يجعل الإجراء التالي غير صالح. كما أن معلومة غير مهمة الآن قد تصبح حاسمة بعد عدة خطوات، ولذلك لا يمكن الاعتماد على تقييم الأهمية لمرة واحدة.

تتخذ الأساليب الحالية قرارها قبل أن يعالج النموذج السياق. فالأساليب الصلبة تحذف النص أو تعيد كتابته، وتخاطر بفقدان القيم الدقيقة. أما الأساليب الناعمة فتخزّن تمثيلات متصلة، لكنها تحتاج إلى مشفّرات (encoders) مدرَّبة على حدة، وقد يختلف هدفها عمّا استوعبه النموذج الفعلي وعمّا سيحتاج إليه لاحقًا. وقد جرّب المؤلفون أنفسهم في البداية تدريب ضاغط مدمج من كتل attention وMLP عبر on-policy distillation. وكان الإعداد مكلفًا والنتيجة ضعيفة، ولم تعالج إضافة طبقات الضغط المشكلة.

وأظهر تحليل المسارات المأخوذة من جلسات مستخدمين حقيقية أن ملاحظات الأدوات هي أكثر ما يشغل المساحة. وتذكر الورقة من بين الأنظمة Fable 5 وGPT-5.6 Sol وKimi K3. لذلك أصبحت مخرجات الأدوات الهدف الرئيسي للضغط.

كيف يستخدم ASTC حالة GDN

صُمم الأسلوب للنماذج الهجينة التي تتناوب فيها Gated Delta Network (طبقة تكرارية ذات ذاكرة ترابطية) مع الانتباه الكامل. ويعطي تحديث هذه الطبقة إشارة جِدّة: فإذا كانت القيمة المدخلة ممثَّلة جيدًا في الحالة أصلًا، يكون التصحيح صغيرًا، أما المعلومات الجديدة أو المتناقضة فتغيّر الذاكرة بقدر أكبر. وبذلك يُظهر النموذج بنفسه ما استوعبه بالفعل.

تقرأ الطبقات الأولى الكتلة الجديدة بأكملها. ثم يختار ASTC المواضع التي يمكن التنبؤ بها من الحالة السابقة، والتي ما زال بالإمكان استرجاعها من الحالة عند نهاية الملاحظة. أما القيم الدقيقة المتعرَّف عليها وحدّ الإجراء فيحميها قناع (mask) وتبقى رموزًا عادية. وتُقسَّم المواضع المختارة إلى مجموعات سببية، وتُستبعد منها القيم الشاذة، ثم تُحسب متوسطات الحالات المخفية المتبقية في رمز ناعم واحد داخل فضاء النموذج. وتُرفض المجموعات المؤلفة من موضع واحد، وكذلك حالات التشوّه الشديد، وتبقى هذه المواضع رموزًا أصلية.

يخزّن الكاش بعد حدّ الضغط تسلسلًا مختلطًا أقصر. ويُعاد استخدامه أثناء فك الترميز (decoding) وفي الخطوات اللاحقة للوكيل، ولذلك لا يقتصر المكسب على مرحلة prefill وحدها. ومع ذلك يجب أن يكون الضغط مجديًا: فالانتباه الموفَّر ينبغي أن يتجاوز تكلفة الاختيار والتجميع (pooling).

ماذا أظهرت القياسات وأين حدودها

النتائج المعلنة: في مهام طويلة متنوعة يُبقي ASTC الجودة قريبة من النموذج غير المضغوط أو أعلى منه، ويخفض Attention Pairs الشاملة حتى 50,68%. وإذا أُزيلت حماية القيم الدقيقة، تنهار الدقة بشدة. ويعمل المعيار خارج نطاق ملاحظات الأدوات أيضًا: فعند ضغط السجل كاملًا تُبلَغ دقة النموذج غير المضغوط مع عدد أقل بنسبة 24,52% من مرات الوصول إلى Decode KV. كما ظهر المكسب في السياق الطويل وفي إصلاح الشيفرة. وبحسب Attention Pairs لكل مهمة ناجحة، يتفوق الأسلوب على الضواغط المدرَّبة بمقدار 15,4–103,7 مرة، مع دقة أفضل.

ثمة عدة قيود. يعتمد الأسلوب على نماذج GDN الهجينة، ولذلك لا يصلح مباشرة للمحوّلات (transformers) الخالصة. وقد يفوّت التعرف على القيم الدقيقة بعض الحقول. أما التقديرات النظرية، بما فيها الشروط التي تشوّه فيها الرموز الناعمة التنبؤ بدرجة أقل من الرموز الصلبة المساوية لها في الطول، فتعتمد على افتراضات لا تضمنها عتبات الاختيار. ومقياس Attention Pairs يحصي عمليات حساب الانتباه، لا الوقت ولا المال على العتاد الفعلي، ولذلك ينبغي التحقق من التوفير النهائي على بنية الفريق نفسها.

الخلاصة العملية للفرق التي تبني وكلاء طويلين على معماريات هجينة: يمكن استمداد الضغط من الإشارات الداخلية للنموذج، دون إنفاق موارد على ضاغط منفصل.