السياق الطويل
السياق الطويل يشير إلى قدرة نموذج اللغة على معالجة والتفكير بشكل متماسك عبر تسلسلات ضخمة جداً من الرموز (tokens) في مدخل واحد. نمت أحجام نوافذ السياق من مئات الرموز في النماذج المبكرة إلى مليون رمز أو أكثر في أنظمة مثل Google Gemini 1.5 Pro.

تحدد نافذة السياق الحد الأقصى لعدد الرموز (tokens) التي يمكن لنموذج المحول (transformer) الانتباه إليها في آن واحد خلال تمريرة استدلالية واحدة. يجب أن تناسب المدخلات والمخرجات معاً هذا الحد. الرمز يساوي تقريباً 0.75 كلمة في اللغة الإنجليزية، لذا فإن نافذة سياق بمليون رمز يمكنها حفظ حوالي 750,000 كلمة—ما يعادل عدة روايات كاملة أو مستودع برمجيات متوسط الحجم أو عدة ساعات من نصوص الاجتماعات.
يتسع انتباه المحول بشكل تربيعي مع طول التسلسل في كل من الذاكرة والحساب، مما يجعل توسيع نافذة السياق بشكل ساذج مكلفاً جداً. يعالج الباحثون هذا من خلال خوارزميات الانتباه الفعّالة (Flash Attention و Ring Attention)، والترميزات الموضعية المعدّلة مثل Rotary Position Embedding (RoPE) مع التحجيم الديناميكي وتمديد YaRN، والتغييرات المعمارية مثل انتباه النافذة المنزلقة المستخدمة في نماذج Mistral. عادة ما يتم تدريب النماذج مسبقاً على أطوال سياق أقصر ثم توسيعها من خلال التدريب المستمر على تسلسلات أطول أو تقنيات الاستيفاء الموضعي.
يفتح السياق الطويل حالات استخدام نوعية جديدة: تحليل مستودع برمجيات كامل في تمريرة واحدة، معالجة وثائق قانونية أو علمية بمئات الصفحات بدون تقسيم، الحفاظ على ذاكرة محادثة متماسكة عبر تفاعلات طويلة، وتنفيذ تعلم قليل الأمثلة في السياق مع عدة عروض توضيحية. يقلل من الاعتماد على خطوط أنابيب معززة بـ RAG التي تقسم الوثائق إلى أجزاء وقد تفتقد العلاقات بين الوثائق.
اعتباراً من 2026، يدعم Google Gemini 1.5 Pro مليون رمز في الإنتاج وأثبت الوظائف عند مليوني رمز في بيئات البحث. يدعم Claude من Anthropic 200,000 رمز، و GPT-4o من OpenAI يدعم 128,000 رمز. تأثير محدود معروف يسمى 'Lost in the Middle' يظهر أن النماذج تنتبه بشكل أقل موثوقية للمعلومات الموضوعة في منتصف السياقات الطويلة جداً مقابل المعلومات على الحواف، ولا يزال معالجة هذا التدهور مجالاً نشطاً للبحث.
مثال
“تقوم شركة تكنولوجيا قانونية بإدخال اتفاقية اندماج كاملة بـ 400 صفحة في LLM طويل السياق في استدعاء API واحد، وتطلب منها تحديد جميع بنود تغيير السيطرة والإشارة المرجعية إليها مقابل قائمة التحقق من الشروط القياسية—وهي مهمة كانت تتطلب سابقاً ساعات من مراجعة المحامي.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.