نماذج Qwen اللغوية الصغيرة تتجاهل التعليمات رغم أنها تبدو دقيقة في الاختبارات
اختبرت دراسة على arXiv ما إذا كانت نماذج Qwen الصغيرة تتبع التعليمات التي تتعارض مع سلوكها المعتاد، مثل اختيار إجابة خاطئة عن قصد. تبيّن أن النماذج الصغيرة تظل كفؤة في حل المهمة، لكنها تتجاهل هذا الأمر في معظم الحالات تقريبًا، بينما تُظهر النماذج الكبيرة فجوة واضحة بين الوضعين. ويخلص الباحثون إلى أن القدرة على حل المهمة والقدرة على الامتثال للأوامر أمران مختلفان، وأن مقياس الدقة المعتاد يخفي هذا الفرق.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.CL؛ بتحرير Hamidun News
نشر باحثون في يوليو 2026 على arXiv دراسة أظهرت أن نماذج Qwen اللغوية الصغيرة تظل دقيقة في المهام، لكنها تتجاهل بانتظام التعليمات التي تتعارض مع سلوكها المعتاد، وأن مقياس الدقة القياسي يخفي هذا الخلل تمامًا.
ما الذي اختبره الباحثون
يُستخدم ضبط التعليمات (instruction tuning) كي تنفذ النماذج طلبات المستخدم، لكن من غير الواضح ما إذا كانت النماذج الصغيرة تمتثل عندما يتعارض الأمر مع سلوكها المعتاد. اعتمد الباحثون على نماذج Qwen المضبوطة على التعليمات بأحجام مختلفة، وواجهوها بتعليمة «معاكسة» في ثلاثة أنواع من المهام.
أضاف الباحثون إلى المهمة القياسية تعليمة متعارضة معها: اختيار خيار خاطئ عن قصد في اختبار الاختيار من متعدد، أو إعطاء المشاعر المعاكسة في تحليل المشاعر، أو إرجاع ضعف النتيجة في مسألة رياضية. أتاح هذا التصميم العابر للمهام التحقق مما إذا كانت المقاومة مرتبطة بمهمة بعينها أم أنها سمة سلوكية أعم.
- ثلاث مهام: اختيار الإجابة (MCQA)، وتصنيف المشاعر، والأسئلة الرياضية
- التعليمة المتعارضة: اختيار خيار خاطئ، أو إعطاء المشاعر المعاكسة، أو مضاعفة الإجابة
- ثلاثة مقاييس: standard accuracy وnon-standard accuracy ومعدل الفشل في اتباع التعليمات (Instruction-Following Failure Rate، أو IFFR)
- النماذج: نماذج Qwen المضبوطة على التعليمات بعدة أحجام
لماذا تضلّل الدقة
تكمن حيلة التصميم في أن جميع الإجابات تُقارَن بالحل الصحيح الأصلي. فالنموذج الذي تجاهل التعليمة «المعاكسة» وحل المهمة كالمعتاد يبدو ناجحًا وفق المقياس القياسي، مع أنه لم ينفذ أمر المستخدم. وهذا مخالف للحدس: فقد يتصرف نموذجان بالدرجة نفسها من الدقة في اختبار معياري بطريقتين مختلفتين تمامًا إذا أُعطيا أمرًا يخالف المتوقع. ولهذا السبب يخفي التقرير المقتصر على الدقة القياسية إخفاقات تنفيذ التعليمات، ويقدّم الباحثون مقياس IFFR مستقلًا لرصدها.
ماذا أظهرت النتائج
تباينت النتائج بحسب حجم النموذج. ظلت نماذج Qwen الصغيرة كفؤة، إذ كانت تحل المهمة الأصلية، لكنها كانت تتجاهل التعليمة غير المعتادة بصورة روتينية. أما النماذج الكبيرة فأظهرت فجوة واضحة بين الوضعين: فقد كانت تنتقل فعليًا إلى الأمر «المعاكس» بوتيرة أعلى بكثير.
وارتفعت الدقة القياسية واتباع التعليمات عمومًا مع زيادة حجم النموذج، لكن النمط، كما يشير الباحثون، لم يكن ثابتًا عبر المهام ومجموعات البيانات المختلفة. فزيادة الحجم لم تضمن الامتثال بالقدر نفسه في كل مكان.
«الكفاءة في المهمة واتباع التعليمات قدرتان مختلفتان، والتقرير المقتصر
على الدقة القياسية يخفي إخفاقات اتباع التعليمات»، كما جاء في ملخص الدراسة على arXiv.
ماذا يعني ذلك
بالنسبة لمن ينشرون النماذج الصغيرة، الخلاصة عملية: الدرجة العالية في اختبار معياري لا تعني أن النموذج سينفذ ما تطلبه بالضبط. فتحسّن القدرة على حل المهام لا يمنح تلقائيًا تحكمًا موثوقًا في السلوك، ولذلك ينبغي قياس الامتثال على حدة بمقياس مثل IFFR بدلًا من استنتاجه من الدقة الإجمالية. وفي التطبيقات التي تتطلب قابلية التحكم والأمان، يمثل ذلك حجة إضافية لاختبار النموذج بأوامر متعارضة، وليس بالمهام المرجعية وحدها.
أسئلة شائعة
ما هو معدل الفشل في اتباع التعليمات (IFFR)؟
IFFR مقياس اقترحه الباحثون يعبّر عن نسبة الحالات التي لم ينفذ فيها النموذج التعليمة المعطاة. وبخلاف الدقة القياسية، يُظهر هذا المقياس إخفاقات اتباع الأمر تحديدًا، لا جودة حل المهمة.
لماذا يبدو النموذج دقيقًا لكنه لا يطيع؟
لأن الإجابات في التجربة تُقارَن بالحل الصحيح الأصلي. فإذا تجاهل النموذج التعليمة «المعاكسة»، مثل «اختر الخيار الخاطئ»، وحل المهمة كالمعتاد، يحتسب المقياس القياسي ذلك نجاحًا، مع أن النموذج خالف أمر المستخدم.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.