الإبرة في كومة القش (Needle in a Haystack)
اختبار الإبرة في كومة القش (Needle in a Haystack) هو اختبار تقييم للسياق الطويل يقيس ما إذا كان نموذج اللغة قادراً على استرجاع حقيقة محددة مزروعة بدقة ("الإبرة") من مجموعة نصية كبيرة غير ذات صلة ("كومة القش") في مواضع وأطوال سياق متفاوتة، مما يكشف الحدود العملية لاستدعاء السياق الطويل.
منهجية الإبرة في كومة القش (Needle in a Haystack) هي منهجية تقييم لنماذج اللغة طويلة السياق، اشتهرت على يد الباحث المستقل Greg Kamradt في نوفمبر 2023. يدرج الاختبار حقيقة قصيرة ومميزة - الإبرة - في موضع محكوم بدقة داخل كتلة كبيرة من نصوص حشو غير ذات صلة، مثل مقالات إخبارية متسلسلة أو مقاطع من ويكيبيديا. يُطلب بعد ذلك من النموذج استرجاع تلك الحقيقة المحددة. بتكرار الإجراء عبر شبكة من أطوال السياق الإجمالية وأعماق الإبرة (معبراً عنها كنسبة مئوية من طول المستند الإجمالي من 0% إلى 100%)، يحصل المقيّم على مصفوفة ثنائية الأبعاد لدرجات دقة الاسترجاع.
عادة ما يتم تقديم النتائج كخريطة حرارية ملونة: طول السياق على محور واحد، عمق الإبرة على المحور الآخر، حيث يشير اللون إلى ما إذا كان النموذج قد استرجع الحقيقة المزروعة بشكل صحيح. يكشف هذا التصور أنماط الفشل المنتظمة التي تخفيها أرقام الدقة الإجمالية. أظهرت العديد من نماذج السياق الطويل المبكرة تدهوراً حاداً عندما تم وضع الإبرة في الثلث الأوسط من مستند طويل - وهي حالة متسقة مع تأثير "الضياع في المنتصف" الموثق بشكل مستقل، حيث تعطي آليات الانتباه أوزاناً أقل للرموز البعيدة عن طرفي نافذة السياق. حققت النماذج المُعلن عن دعمها سياقات بـ 100K رمز درجات قريبة من الصدفة بنسبة 50-70% للمدخلات التي تتجاوز حوالي 32K رمز.
اكتسب الاختبار تبنياً سريعاً طوال عام 2024 لأنه قدم عرضاً بديهياً بأن أحجام نوافذ السياق المُعلن عنها وأطوال السياق القابلة للاستخدام العملي كانت غالباً كميات مختلفة. دمجت Anthropic وGoogle وOpenAI نتائج الإبرة في كومة القش في التقارير التقنية لـ Claude 2.1 و Gemini 1.5 Pro و GPT-4 Turbo على التوالي، مستخدمة الاستدعاء شبه المثالي لكامل النافذة كمطالبة تمييزية. جذب الاستدعاء شبه المثالي المُبلغ عنه لـ Gemini 1.5 Pro حتى مليون رمز في أوائل عام 2024 انتباهاً خاصاً.
بحلول 2025-2026، حققت النماذج الرائدة إلى حد كبير استرجاعاً واحداً للإبرة شبه مثالي عبر نوافذ سياقها الكاملة، مما يجعل الاختبار الأساسي غير كافٍ كمقياس مستقل لكفاءة السياق الطويل. وسّع الباحثون المنهجية إلى استرجاع متعدد الإبر (عدة حقائق متناثرة، يجب استدعاؤها جميعاً)، وإعدادات الإبرة والمشتت (حقائق متشابهة لكن غير صحيحة أيضاً مضمنة)، وكومات قش متعددة اللغات. يستمر الاختبار الأصلي للإبرة الواحدة كفحص عقلي أساسي وحد أدنى لأي نظام يدعي القدرة على السياق الطويل.