التعلم السياقي (In-Context Learning)
التعلم السياقي هو قدرة نموذج اللغة الكبير على القيام بمهام جديدة بقراءة أمثلة أو تعليمات موضوعة مباشرة في موجه الإدخال، والتكيف مع السلوك في وقت الاستدلال دون أي تحديث لأوزانه.
التعلم السياقي (ICL) هو قدرة نموذج اللغة الكبير على القيام بمهمة جديدة بالتحويل على موجه يحتوي على وصف باللغة الطبيعية وعدة أمثلة موضحة (عروض توضيحية) أو كليهما—دون تحديث أي أوزان النموذج. ينتج النموذج مخرجات صحيحة من خلال مطابقة الأنماط داخل نافذة السياق في وقت الاستدلال، مما يجعلها شكلاً من أشكال التعلم الفوقي المعبر عنه بالكامل على طبقة الاستدلال.
يعمل التعلم السياقي من خلال آلية الانتباه في النموذج، التي تسمح له بقراءة العروض التوضيحية في الموجه والاستدلال على رسم الخريطة المدخل-المخرج الكامن. أثبت ورقة GPT-3 لعام 2020 (Brown وآخرون) أن تحجيم حجم النموذج عزّز بشكل كبير هذا السلوك الناشئ، حيث ظهرت قدرات بدون أمثلة وقلة أمثلة بشكل موثوق فقط فوق حد معامل معين. لا يقوم النموذج بأي نسب متدرج؛ فهو يشفّر معلومات المهمة بشكل ضمني من خلال الانتباه على الأمثلة المقدمة، عملية يصفها بعض الباحثين بأنها الاستدلال البايزي الضمني على توزيع الموجه.
يجعل التعلم السياقي نماذج كبيرة مرنة جداً دون التكلفة الهندسية للضبط الدقيق. يمكن للمطور التكيف مع نموذج لمخطط تصنيف جديد أو صيغة إخراج أو أسلوب مجال بكتابة عدة أمثلة في الموجه، مما يقلل دورة التكرار من أيام (ضبط دقيق وتقييم) إلى دقائق (تحرير الموجه). هذا مفيد بشكل خاص للمهام منخفضة الموارد والنماذج السريعة والتطبيقات حيث تتغير تعريفات المهام بشكل متكرر.
اعتبارًا من عام 2026، يمكن للنماذج التي تحتوي على نوافذ سياق من 128K–1M رمز—بما فيها Claude 3.5 و 3.7 (Anthropic) و Gemini 1.5 Pro (Google) و GPT-4o (OpenAI)—استيعاب مئات الأمثلة السياقية والمستندات المرجعية الكاملة، مما يمسح الحدود بين التعلم السياقي والاسترجاع المعزز بالتوليد. يبقى البحث في سبب عمل التعلم السياقي نشطًا، مع حسابات متنافسة تتضمن محاكاة النسب المتدرج في المسار الأمامي واستحثاث متجه المهمة، لكن التطبيق العملي تفوق بكثير على الإجماع النظري.