نافذة السياق في نماذج اللغة الكبيرة: لماذا تنسى الشبكات العصبية أجزاء من محادثتك

نماذج اللغة الكبيرة (LLM) لا تعمل مثل الإنسان الذي يتمتع بالذاكرة — بل مثل الخبير الذي يعيد قراءة جميع المراسلات من الصفر في كل مرة ثم فقط يصيغ الرد. هذه هي بالضبط السمة المعمارية الأساسية للشبكات العصبية الحديثة التي غالباً ما تربك المستخدمين الجدد.

لماذا ينسى النموذج

عندما تُرسل رسالة جديدة إلى دردشة مع الذكاء الاصطناعي، لا يتذكر النموذج الرد السابق بالمعنى التقليدي. إنه لا يملك ذاكرة تشغيلية مثل الكمبيوتر، ولا ذاكرة طويلة الأجل مثل الإنسان. في كل مرة تكتب شيئاً جديداً، يتلقى النموذج الحوار بأكمله كمدخل — من الرسالة الأولى إلى الأخيرة — ويعالجه مجدداً لصياغة الرد. تُسمى هذه "الصندوق" المحدود الذي يحتوي على جميع المحادثة نافذة السياق. يتم قياس حجمها بالرموز (tokens) — وحدات نصية تقابل تقريباً 0.75 كلمة لكل منها. كلما طالت المحادثة، زاد عدد الرموز التي تشغلها — وكلما اقتربت من الحد الأقصى.

ما يحدث عند الحد الأقصى

نافذة السياق ليست لانهائية، وكل نموذج له حده الأقصى الخاص به. إليك كيف تبدو الحدود للحلول الشهيرة:

• GPT-4o — 128.000 رمز (حوالي 96.000 كلمة)
• Claude 3.5 Sonnet — 200.000 رمز (حوالي 150.000 كلمة)
• Gemini 1.5 Pro — حتى 1.000.000 رمز
• النماذج القديمة (GPT-3) — 4.000 رمز فقط

عندما تصل المحادثة إلى الحد الأقصى، تختفي الأجزاء القديمة حرفياً: يتوقف النموذج عن رؤيتها. إذا كتبت في بداية جلسة طويلة "اسمي أندريه" أو قدمت سياقاً رئيسياً للمهمة، ثم واصلت المحادثة لعدة ساعات أخرى — بحلول النهاية، فمن المحتمل جداً أن يكون الذكاء الاصطناعي "لا يتذكر" هذه التفاصيل. هذا ليس خللاً ولا إهمالاً. إنها رياضيات: المعلومات ببساطة تجاوزت حدود النافذة.

كيف يحارب المطورون هذا

لإخفاء هذا القيد عن المستخدمين أو على الأقل تخفيفه، يضيف المطورون عدة طبقات من المنطق فوق نماذج اللغة الأساسية. بالنسبة للمستخدم العادي، فهي غير مرئية — لكنها بالفعل ما يجعل العمل مع الذكاء الاصطناعي أكثر راحة.

التلخيص. يقوم النظام تلقائياً بضغط الأجزاء القديمة من المحادثة، ويحافظ على الحقائق الأساسية في شكل مضغوط، ويحرر الرموز للرسائل الجديدة. عادة لا يلاحظ المستخدمون هذا.

الذاكرة المتجهة. يتم تخزين الحقائق المهمة من المحادثة في قاعدة بيانات منفصلة واسترجاعها حسب الحاجة. هكذا تعمل أنظمة RAG (Retrieval-Augmented Generation): فهي تسحب السياق الضروري في اللحظة المناسبة، دون ملء النافذة به بشكل مستمر.

موجه النظام. يتم حجز جزء من نافذة السياق مقدماً — للتعليمات الدائمة، وملف تعريف المستخدم، وحقائق المهمة. هذا الجزء لا يتم إزاحته بواسطة سجل المحادثة.

التخزين المؤقت. يقوم بعض مقدمي الخدمات بتخزين جزء من السياق مؤقتاً على جانب الخادم، بحيث لا تضطر نفس البيانات إلى نقلها مع كل طلب. وهذا يقلل التكاليف الحسابية ويسرع الرد قليلاً.

"نافذة السياق ليست خللاً، بل قرار معماري أساسي من قرارات المحولات

(Transformers)،" يشرح مهندسو التعلم الآلي، مضيفين: التعقيد التربيعي لعمليات الاهتمام يعني أن مضاعفة النافذة تزيد التكاليف الحسابية بأربع مرات.

ماذا يعني هذا

فهم نافذة السياق يشرح الكثير من "الغرائب" في سلوك الذكاء الاصطناعي: لماذا ينسى النموذج التفاصيل نحو نهاية محادثة طويلة، لماذا يرى فقط جزءاً من وثيقة كبيرة، لماذا تحتاج الوكلاء إلى نظام ذاكرة منفصل. هذا قيد معماري أساسي — والصناعة تتعلم بنشاط كيفية التعامل معه: توسيع النوافذ، إضافة ذاكرة خارجية، استكشاف معماريات جديدة مثل Mamba. في الوقت الحالي، تظل نافذة السياق أحد أهم المقايضات في عالم نماذج اللغة الكبيرة.