كيف تحول تعليمات النظام الواحدة نموذج اللغة الكبير إلى أداة موثوقة: اختبارات على Qwen و DeepSeek

نماذج اللغات الضخمة تكذب بجمال. ليس لأنها شريرة — ببساطة لأنها مدربة على مواصلة النص وليس على قول الحقيقة. حيث تفتقر النموذج إلى البيانات الضرورية، يولد شيئاً معقولاً ويقدمه بيقين الخبير.

بالنسبة للمهام التطبيقية — المساعدون في المؤسسات وأدوات التحليل وأنظمة دعم القرار — مثل هذا السلوك غير مقبول. الخطأ المقدم بثقة أسوأ من الخطأ مع ملاحظة تحفظ. اقترح مؤلف مقال على Habr استعارة بسيطة لكن فعالة: نماذج اللغات الضخمة تحتاج إلى هيكل خارجي.

ليس ضبط دقيق وليس جولة RLHF وليس تدريب مكلف — بل تعليمة نظام واحدة تحدد للنموذج قواعد سلوكية صارمة في حالات عدم اليقين. تم إجراء الاختبارات على اثنين من أكثر النماذج مفتوحة المصدر شيوعاً مع دعم قوي للغة الروسية: Qwen (سلسلة من Alibaba) و DeepSeek — كلاهما يستخدم بنشاط في المنتجات الروسية بالضبط بسبب إمكانية الوصول والجودة. جوهر "الهيكل الخارجي" هو منع النموذج من الثقة المفرطة حيث يكون غير متأكد.

تحدد تعليمة النظام عدة قواعد أساسية. الأولى: الاعتراف الصريح بعدم اليقين — عدم تجاهله صمتاً بل قول مباشر "أنا لا أعرف" أو "ليس لدي بيانات كافية". الثانية: توضيح الطلب إذا كان غامضاً بدلاً من اختيار تفسير واحد والإجابة عليه.

الثالثة: التمييز الواضح بين الحقائق التي يتأكد منها النموذج وتلك التي يفترضها فقط. الرابعة: رفض الإجابة في المجالات حيث تكون مخاطر الخطأ عالية ولا توجد طريقة للتحقق من المعلومات داخل النموذج نفسه. نظرياً يبدو هذا تافهاً.

عملياً — إنه يعمل. بعد إضافة التعليمة بدأت نماذج Qwen و DeepSeek بالاعتراف كثيراً بحدود معارفهما: في سيناريوهات الاختبار مع سياق ناقص عن قصد أو متناقض توقفت النماذج عن "اختلاق الأشياء" وبدأت تطلب توضيحات أو تحدد عدم اليقين بشكل صريح. انخفض مستوى الهلوسة الواثقة في هذه السيناريوهات بشكل ملحوظ.

لماذا هذا ليس واضحاً؟ لأنه بشكل افتراضي يتم تدريب نماذج اللغات الضخمة لتقديم إجابة كاملة وواثقة — بالضبط مقابل هذا تلقت درجات عالية في RLHF. يفضل المقيم البشري بغريزة النص المفصل والواثق على "أنا لا أعرف" البسيط. تعلمت النموذج هذا التفضيل.

ونتيجة لذلك فإنها تمتلك سلوكاً مدمجاً معاكساً تماماً لما هو مطلوب في الإنتاج الفعلي حيث تُقاس تكلفة الخطأ بالسمعة أو المال. تعليمة النظام هي طريقة لإعادة كتابة هذا السلوك دون تغيير أوزان النموذج. في الأساس نفرض التواضع الإبستيمولوجي على النموذج من الخارج.

ومن هنا استعارة الهيكل الخارجي: النموذج نفسه لا يتغير داخلياً لكن حوله يظهر هيكل سلوكي صارم يوجه الاستجابات في الاتجاه الصحيح. نقطة دقيقة مهمة: يجب أن تكون التعليمة محددة وليست إعلانية. "كن دقيقاً وصادقاً" لا يعمل — النموذج يعتبر نفسه بالفعل دقيقاً وصادقاً.

ما يعمل هي الحالات المحددة: إذا كان الطلب يفتقر إلى سياق كاف — اطرح سؤال توضيحي؛ إذا لم تكن متأكداً من حقيقة — أشر إلى ذلك بشكل صريح واشرح لماذا؛ إذا كان السؤال خارج بيانات النموذج — قل ذلك مباشرة. كل قاعدة تصف محفزاً محدداً وإجراءً محدداً استجابة له. غالباً ما يخشى المطورون أن التقييدات ستقلل من فائدة النموذج.

لم تُظهر الاختبارات أي تأثير من هذا القبيل. في السيناريوهات ذات السياق الكافي عملت النماذج بشكل جيد تماماً كما بدون التعليمة. تم تفعيل التقييد فقط حيث كانت البيانات ناقصة فعلاً — تماماً تلك الحالات التي كانت النموذج تهلوس فيها سابقاً.

بالنسبة للفرق التي تبني أدوات داخلية على نماذج اللغات الضخمة — قواعد المعارف بالمؤسسات والمساعدون التحليليون وأنظمة إدارة المستندات — هذه نتيجة قابلة للتطبيق عملياً الآن. لا حاجة للانتظار للنسخة التالية من النموذج أو تخصيص ميزانية للضبط الدقيق أو تغيير المعمارية. يكفي كتابة تعليمة النظام بشكل صحيح — وستبدأ النموذج بالتصرف بالطريقة التي تحتاجها الأعمال وليس بالطريقة التي تم تدريبها عليها لإرضاء المقيمين العشوائيين.