كيف تحوّل تعليمة نظام واحدة نموذج LLM إلى أداة موثوقة: اختبارات على Qwen وDeepSeek

تكذب النماذج اللغوية الكبيرة بأسلوب جميل. ليس لأنها شريرة، بل لأنها دُرّبت على متابعة النص لا على قول الحقيقة. وحيث لا تتوافر لدى النموذج البيانات اللازمة، يولّد شيئًا يبدو معقولًا ويعرضه بثقة الخبير. وفي المهام التطبيقية — مساعدو الشركات وأدوات التحليل وأنظمة دعم القرار — هذا السلوك غير مقبول. فالخطأ الذي يُقدَّم بثقة أسوأ من الخطأ المصحوب بتحفّظ.

استعارة الهيكل الخارجي

اقترح مؤلف المقال على Habr استعارة بسيطة لكنها عملية: يحتاج LLM إلى هيكل خارجي (exoskeleton). لا إعادة تدريب، ولا جولة RLHF، ولا ضبطًا دقيقًا (fine-tuning) باهظ الكلفة — بل تعليمة نظام واحدة تفرض على النموذج قواعد سلوك صارمة في حالات عدم اليقين. أُجريت الاختبارات على نموذجين مفتوحين من أكثر النماذج شيوعًا وبدعم قوي للغة الروسية: Qwen (سلسلة من Alibaba) وDeepSeek. وكلاهما يُستخدم بنشاط في المنتجات الروسية بسبب إتاحتهما وجودتهما.

جوهر النهج: قواعد السلوك

جوهر «الهيكل الخارجي» هو منع النموذج من الثقة الزائدة حيث لا يكون متأكدًا. تنص تعليمة النظام على عدة قواعد رئيسية. الأولى: الاعتراف الصريح بعدم اليقين — لا التجاوز بالصمت، بل القول مباشرة «لا أعرف» أو «ليست لديّ بيانات كافية».

الثانية: توضيح الطلب إذا كان ملتبسًا، بدلًا من اختيار أحد التفسيرات والإجابة عنه. الثالثة: التمييز الواضح بين الوقائع التي يتيقّن منها النموذج وتلك التي يفترضها فقط. الرابعة: الامتناع عن الإجابة في المجالات التي ترتفع فيها مخاطر الخطأ ولا يمكن فيها التحقق من المعلومة من داخل النموذج نفسه.

عمليًا يبدو هذا بديهيًا. وعمليًا — هو يعمل. فبعد إضافة التعليمة، بدأ Qwen وDeepSeek يعترفان بحدود معرفتهما بوتيرة أعلى بكثير: ففي سيناريوهات الاختبار ذات السياق الناقص عمدًا أو المتناقض، توقفت النماذج عن «التخمين» وبدأت تطلب توضيحات أو تُبيّن عدم اليقين صراحةً.

وانخفض مستوى الهلوسات الواثقة في هذه السيناريوهات بشكل ملحوظ.

لماذا ليس الأمر بديهيًا

لماذا ليس الأمر بديهيًا؟ لأن LLM مدرَّب افتراضيًا على تقديم إجابة كاملة وواثقة، وهو ما نال عليه تقييمات عالية في RLHF. فالمقيِّم البشري يفضّل غريزيًا النص المفصّل الواثق على «لا أعرف» المقتضبة. وقد استوعب النموذج هذا التفضيل. والنتيجة أنه يحمل سلوكًا مناقضًا تمامًا لما يلزم في الإنتاج الفعلي، حيث تُقاس كلفة الخطأ بالسمعة أو بالمال. وتعليمة النظام وسيلة لإعادة كتابة هذا السلوك دون تغيير أوزان النموذج. فنحن في جوهر الأمر نفرض على النموذج تواضعًا معرفيًا من الخارج. ومن هنا استعارة الهيكل الخارجي: النموذج نفسه لا يتغيّر من الداخل، لكن تنشأ حوله بنية سلوكية صلبة توجّه ردود أفعاله في الاتجاه المطلوب.

يجب أن تكون التعليمة محددة

ثمة فارق مهم: يجب أن تكون التعليمة محددة لا تصريحية. عبارة «كن دقيقًا وصادقًا» لا تعمل، فالنموذج يعدّ نفسه دقيقًا وصادقًا أصلًا. ما يعمل هو المواقف المحددة: إذا لم يتوافر في الطلب سياق كافٍ — اطرح سؤالًا توضيحيًا؛ إذا لم تكن متأكدًا من واقعة — بيّن ذلك صراحةً واشرح السبب؛ إذا كان السؤال يتجاوز حدود بياناتك — قل ذلك مباشرة. وتصف كل قاعدة محفّزًا محددًا وإجراءً محددًا يُتخذ استجابةً له.

هل يقلل ذلك من الفائدة

كثيرًا ما يخشى المطوّرون أن تقلل القيود من فائدة النموذج. وفي الاختبارات لم يُلاحظ ذلك. ففي السيناريوهات ذات السياق الكافي عملت النماذج بالجودة نفسها كما دون التعليمة. ولم يُفعَّل القيد إلا حيث كانت البيانات ناقصة فعلًا — أي في الحالات التي كان النموذج يهلوس فيها سابقًا. وبالنسبة إلى الفرق التي تبني على LLM أدوات داخلية — قواعد معرفة للشركات، ومساعدين تحليليين، وأنظمة إدارة المستندات — فهذه نتيجة قابلة للتطبيق عمليًا من الآن. فلا حاجة إلى انتظار الإصدار التالي من النموذج، أو تخصيص ميزانية للضبط الدقيق، أو تغيير البنية. يكفي كتابة موجّه النظام كتابة صحيحة، فيبدأ النموذج بالتصرف كما تحتاج الأعمال، لا كما دُرّب ليحظى برضا مقيّمين عشوائيين.

باختصار:

• تعليمة نظام واحدة («هيكل خارجي») تفرض على LLM قواعد سلوك عند عدم اليقين — دون إعادة تدريب أو ضبط دقيق.
• الاختبارات على Qwen وDeepSeek: اعترفت النماذج بحدود معرفتها بوتيرة أعلى، وقلّت الهلوسات الواثقة.
• يجب أن تكون التعليمة محددة (محفّز ← إجراء)؛ وفي السيناريوهات ذات السياق الكافي لم تنخفض الفائدة.