اختبار LLM واحد أعطى 28% و76% — والفرق يكمن فقط في طريقة طرح الأسئلة

حصل مطوّر اختبر نماذج LLM الناطقة بالروسية على وثائق الشركات على نتائج تراوحت بين 28% و76% للنموذج نفسه في الاختبار نفسه، ويعود هذا الفرق حصراً إلى طريقة طرح الأسئلة.

كيف صُمّم الاختبار

أعدّ المؤلف اختباراً للنماذج اللغوية الناطقة بالروسية يعتمد على أنواع حقيقية من وثائق الشركات: السياسات والأوامر والفواتير وطلبات الموافقة. تتمثل مهمة النماذج في العثور على الوثيقة المطلوبة بين وثائق متشابهة، والإشارة إلى سطر محدد فيها، وألا «تنهار» عندما يُغيَّر تاريخ واحد فقط في إحدى الوثائق.

• نطاق نتائج النموذج نفسه في الاختبار نفسه: من 28% إلى 76%
• نوع البيانات: وثائق الشركات — السياسات والأوامر والفواتير وطلبات الموافقة
• المهارات المختبَرة: العثور على الوثيقة المطلوبة بين وثائق متشابهة، والإشارة الدقيقة إلى السطر، ومقاومة تغيّر تفصيل واحد (التاريخ)
• سبب التفاوت: ليس النموذج نفسه، بل طريقة تنظيم الاستعلامات الموجّهة إليه

من أين جاء التفاوت البالغ 48 نقطة مئوية

أهم ما خلصت إليه التجربة أن النتيجة النهائية تأثرت بشدة بطريقة تنظيم الاستعلامات الموجّهة إلى النموذج، لا بالنموذج المستخدم. بعبارة أخرى، يمكن للنموذج نفسه أن يفشل في الاختبار، أو أن يجتازه بأداء أفضل بنحو ثلاث مرات تقريباً، لمجرد تغيير الطريقة التي تُقدَّم بها إليه الأسئلة وسياق الوثائق.

لماذا يهمّ ذلك استخدام LLM في الشركات

تبني الشركات بوتيرة متزايدة فوق نماذج LLM أنظمة داخلية للبحث في الوثائق والتعامل معها، وهو ما يُعرف في القطاع باسم RAG (retrieval-augmented generation). فطلبات الموافقة والأوامر والفواتير نادراً ما تُحفظ بصيغة مناسبة للنموذج، وعملياً يجب أن يختار النموذج الوثيقة المطلوبة من بين عدد كبير من الوثائق المتشابهة، ثم يشير إلى السطر الدقيق. وهذا بالضبط ما اختبره المؤلف.

إذا كان تفاوت النتائج بعدة أضعاف يعود إلى صيغة الاستعلام لا إلى اختيار النموذج، فقد يحقق الاستثمار في تنظيم الاستعلامات والسياق أثراً أكبر للفرق التي تدمج LLM في عملياتها الداخلية من الانتقال إلى نموذج أكبر أو أغلى. ويتّضح ذلك خصوصاً في مقاومة التغييرات «الصغيرة»: عندما يُغيَّر تاريخ واحد في إحدى الوثائق، فإما أن يواصل النموذج الإشارة إلى النسخة القديمة، وإما أن يفقد الوثيقة المطلوبة بين الوثائق المتشابهة. وهذه الأعطال تحديداً هي الأكثر إضراراً بثقة العاملين داخل الشركات في أنظمة LLM، حتى لو كان أداء النموذج جيداً في المتوسط.

ماذا يعني ذلك

يُظهر الاختبار القائم على وثائق شركات حقيقية أن مقارنة النماذج «وجهاً لوجه» دون تثبيت طريقة طرح الأسئلة غير موثوقة منهجياً. أما للتطبيق العملي لـ LLM في إدارة الوثائق، فالأهم ليس السعي وراء نموذج أقوى، بل إتقان الطريقة التي تُطرح بها الأسئلة عليه.

الأسئلة الشائعة

ما الذي اختبره الاختبار بالتحديد؟

اختُبرت النماذج في قدرتها على العثور على الوثيقة المطلوبة بين وثائق متشابهة — سياسات وأوامر وفواتير وطلبات موافقة — والإشارة إلى سطر محدد، وعدم فقدان الدقة إذا غُيِّر تاريخ واحد فقط في إحدى الوثائق.

لماذا أعطى الاختبار نفسه نتائج مختلفة إلى هذا الحد؟

لأن النتيجة تبيّن أنها حساسة لطريقة تنظيم الاستعلامات الموجّهة إلى النموذج، لا للنموذج نفسه. فصاحب التجربة يربط التفاوت من 28% إلى 76% صراحةً بطريقة طرح الأسئلة، لا باستبدال النموذج.