تدهور السياق

تدهور السياق مصطلح غير رسمي لكن شائع الاستخدام يصف مجموعة من أوجه القصور التي تظهر عندما تعالج نماذج اللغة سلاسل إدخال طويلة جداً. أكثر مظهر موثق بدقة—كما أظهرته ورقة Liu وآخرين سنة 2023 بعنوان "Lost in the Middle"—هو أن مهام الاسترجاع تظهر منحنى أداء على شكل حرف U مميز: تستدعي النماذج المعلومات الموضوعة في البداية والنهاية بشكل معقول، لكنها تقل الأداء بشكل منهجي على الحقائق الموجودة في المنتصف. استمرت هذه الظاهرة حتى مع توسيع نوافذ السياق من حوالي 4000 رمز إلى 128000 رمز وما بعده.

السبب الجذري معماري. يمكن لآلية الانتباه في Transformer نظرياً الانتباه إلى أي موضع، لكن في الممارسة تركز أنماط الانتباه المكتسبة على الرموز الجديدة والرموز بالقرب من البداية، التي تتلقى إشارات موضعية قوية أثناء التدريب. تتنافس المعلومات في المنتصف مع إشارة ضوضاء أكبر من المحتوى المحيط. كما أن التوسع التربيعي للانتباه القياسي مع طول التسلسل يخلق ضغوطاً عملية إضافية لا تحلها التقريبات الفعالة بالكامل في السياقات الطويلة جداً.

يمتد المصطلح إلى ما وراء استرجاع الموضع ليشمل تدهور الاتساق الأوسع: النماذج التي تتابع رموز نظامية طويلة مع تعليمات متعددة تميل إلى نسيان أو تناقض القيود السابقة في نهاية الجلسة؛ الأنظمة الوكيلة تراكم الأخطاء في نصوص استدعاء الأدوات التي توجه الخطوات اللاحقة بشكل خاطئ؛ وجلسات البرمجة الطويلة التي يتم فيها تحميل عدة ملفات في السياق قد ترى النموذج يخلط بين أسماء المتغيرات أو توقيعات الدوال من ملفات مختلفة.

بحلول عام 2026، كانت مزودو النماذج الرائدة مثل Anthropic و Google DeepMind و OpenAI قد استثمروا بشكل كبير في التخفيفات: ترميزات موضعية محسنة مثل RoPE scaling و YaRN، والتدريب الصريح على سلاسل أطول، واسترجاع معزز بالمعلومات كحل معماري يبقي السياق النشط قصيراً. استمرت المعايير مثل RULER في الكشف عن فجوات أداء ذات مغزى مقارنة بالإعدادات قصيرة السياق، وأدلة هندسة الطلبات العملية تنصح بشكل روتيني بوضع أهم التعليمات في بداية ونهاية الطلب.

مثال

“تحمل أداة بحث قانوني عقداً من 200 صفحة إلى نافذة سياق بمليون رمز وتطلب من النموذج تحديد كل شرط تعويض؛ يستشهد النموذج بشكل صحيح بالشروط من الأقسام الأولى والأخيرة لكنه يفتقد عدة في المنتصف—مظهر عملي لتدهور السياق.