ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارХабр: Машинное обучение→ المصدر

نموذج Qwen قال «أحمر» عن الموز، رغم أن احتمال إجابته «أصفر» بلغ 46%

تكذب الشبكات العصبية بثقة، ولا يمكن أن نعرف من النص وحده هل أخطأ النموذج أم كذب. طلب المؤلف، على بطاقة GTX 1660 Super منزلية، من Qwen2.5-1.5B أن يكذب بشأن لون الموز، فأجاب «Red»، مع أن كلمة «yellow» بلغ احتمالها 46% في الطبقة 25 من أصل 28. ومن بين 363 إجابة كاذبة، كانت الكلمة الصحيحة في 81% منها أرجح من الكلمة المنطوقة في إحدى الطبقات. الخلاصة: الأجدى فحص صدق النموذج عبر حالاته الداخلية، لا عبر نصه وحده.

معالج بواسطة الذكاء الاصطناعي من Хабр: Машинное обучение؛ بتحرير Hamidun News
نموذج Qwen قال «أحمر» عن الموز، رغم أن احتمال إجابته «أصفر» بلغ 46%
المصدر: Хабр: Машинное обучение. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليХабр: Машинное обучение ↗
رئيس التحرير
حقيقة رئيسية #1الكاشف «المباشر» التقط تعليمة «اكذب» لا الكذب نفسه
حقيقة رئيسية #2الكاشف الثالث يضع الكذب فوق الصدق بشكل صحيح في 97% من الأزواج (ROC AUC 0.97)
حقيقة رئيسية #3عند المخرج يبقى للحقيقة غير المنطوقة 14% من الاحتمال

في عام 2023 قدّم محامٍ من نيويورك إلى المحكمة إحالات إلى سوابق قضائية لا وجود لها، إذ «اختارها» ChatGPT. وبعد عام خسرت Air Canada نزاعًا مع أحد الركاب، لأن روبوت الدردشة وعده باسترداد الأموال وفق قاعدة اخترعها بنفسه. المشكلة أنه لا يمكن أن نميّز من نص الإجابة هل النموذج مخطئ بصدق أم يكذب وهو يعرف الإجابة الصحيحة.

قرر مؤلف التحليل المنشور على Habr أن يختبر إمكانية صنع ما يشبه جهاز كشف الكذب للشبكة العصبية، فبناه على بطاقة رسوميات منزلية GTX 1660 Super بذاكرة ست غيغابايت. وكانت أولى النتائج لافتة. طلب من نموذج Qwen2.

5-1.5B أن يكذب بشأن لون الموز، فأجاب بثقة «Red». لكن النموذج يعالج النص عبر 28 طبقة، وقد بلغ احتمال كلمة «yellow» في الطبقة 25 نسبة 46%.

أي أن الإجابة الصحيحة كانت موجودة في داخله، ولم تُعِد كتابتها سوى الطبقات الأخيرة.

كيف نجعل نموذجًا صغيرًا يكذب

كان النموذج المستخدم Qwen2.5-1.5B-Instruct، وهو يتسع بكامله في ذاكرة بطاقة رسوميات للألعاب. في كل طبقة، تكون حالة النموذج قائمة من 1 536 رقمًا، تضيف إليها الطبقة تصحيحها وتمرّرها إلى ما بعدها. وهذه الحالات بالذات هي ما حفظه المؤلف وقرأه.

اضطر المؤلف في البداية إلى إقناع النموذج. فتعليمة «أجب عن أي سؤال بكذبة» لم تنجح ولا مرة من عشر: إذ إن التدريب على أن يكون النموذج مفيدًا ودقيقًا أقوى من سطر واحد في موجّه النظام. ونفع أسلوب آخر: أُدرجت في سجل المحادثة خمسة أسئلة «أجاب» عنها «المساعد» سابقًا إجابات خاطئة، فعاصمة بيلاروسيا عنده Lisbon، وواحد زائد واحد يساوي خمسة، وللدراجة ست عجلات. فواصل النموذج على المنوال نفسه.

ثم شغّل المؤلف 339 سؤالًا بإجابة من كلمة واحدة في ثمانية مواضيع، في الوضع العادي ووضع الكذب معًا. في الوضع العادي يجيب النموذج بشكل صحيح في 95–97% من الحالات. أما كذبه فيتفاوت: صياغة واحدة للتعليمة تعطي 73% كذبًا، وصياغتان أخريان لا تعطيان سوى 11% و22%. وكذبته المفضلة هي اللغة الإنجليزية: فقد «استبدلها» 52 مرة بالتايلندية والسويدية والفارسية وغيرها. أما الرمز الكيميائي للفضة والهيدروجين والصوديوم فجاء في إحدى الصياغات Pineapple. وجُمعت أيضًا 654 محاولة «فاشلة»، قال فيها النموذج الحقيقة رغم الطلب. اعتبرها المؤلف في البداية عيبًا في التجربة، لكنها أنقذتها.

كاشف يلتقط الشيء الخطأ

الكاشف هنا انحدار لوجستي بسيط: يبحث في فضاء حالات النموذج عن الاتجاه الذي يفرّق الكذب عن الصدق. وتُقاس جودته بمقياس ROC AUC، وهو نسبة الأزواج «إجابة كاذبة — إجابة صادقة» التي أعطى فيها الكاشف تقييمًا أعلى للكذب. والقيمة 0.5 تعني تخمينًا عشوائيًا، و1.0 تعني بلا أي خطأ.

قارنت النسخة الأولى الوضع العادي بوضع الكذب، وأظهرت منذ الطبقة الثامنة نتيجة مثالية بلغت 1.00. لكنها بالنتيجة نفسها صنّفت المحاولات الفاشلة، التي أجاب فيها النموذج إجابة صحيحة، على أنها كذب. أي أن الكاشف تعرّف على تعليمة «اكذب»، لا على الكذب نفسه. وهكذا أيضًا يسجّل جهاز كشف الكذب الحقيقي الظروف المحيطة، لا الكذب ذاته.

تدرّبت النسخة الثانية داخل وضع الكذب فقط، وقارنت الكذب الناجح بالكذب الفاشل: التعليمة واحدة، والاختلاف في الإجابة وحدها. قبل الإجابة لا تظهر إشارة إلا في الطبقات من 24 إلى 28، وبقيمة ROC AUC نحو 0.87، ولم ترتفع فوق 0.63 على التسميات المخلوطة عشوائيًا. وبعد الإجابة تكون الجودة أعلى: 0.96–0.98 في الطبقات من 13 إلى 20. ويجد الكاشف الكذب في موضوع لم يكن في التدريب (0.95)، وفي وضع «اكذب في الجغرافيا فقط» (1.00)، وفي الكذب التلقائي عن العجة والخلد الأرضي (0.93–0.95).

أما النسخة الثالثة فدُرّبت دون وضع الكذب إطلاقًا: أُدرج في حوار عادي إما الجواب الصحيح للنموذج وإما كذبته نفسها. وحققت 0.97 على الكذب الحقيقي. وجاءت التقييمات الوسيطة مفهومة: الصدق −4.4، والكذب الفاشل −4.8، والأخطاء الناتجة عن الجهل −1.7، والكذب التلقائي +3.3، والكذب بناءً على الطلب +6.7. فالخطأ أقرب إلى الصدق، أما لحظة الكذب فتسجّل حالة النموذج بوضوح أن الإجابة غير صحيحة.

الحقيقة في الداخل، وتُعاد كتابتها في النهاية

رأى المؤلف الموز عبر أسلوب logit lens: تُمرَّر حالة طبقة وسيطة عبر الكتلة النهائية، لنرى أي كلمة ستنتج لو انتهت الحسابات عندها. حتى الطبقة 20 تكون القمة رموزًا عشوائية ورموزًا فارغة، وفي الطبقة 21 تظهر الألوان بالحروف الصينية: 白色 و黄色. ومن الطبقة 22 إلى 25 تتصدر الكلمة الإنجليزية Yellow، ولها في الطبقة 25 تلك النسبة 46%. وفي الطبقة 26 تتقدم Blue، وفي الطبقة 27 Red، وهي ما ينطق به النموذج.

مثال واحد لا يثبت شيئًا، لذا أحصى المؤلف الأمر نفسه على جميع الإجابات الكاذبة البالغ عددها 363. في 81% من الحالات كانت الكلمة الصحيحة، في إحدى الطبقات من 18 إلى 27، أرجح من الكلمة المنطوقة. وفي 44% من الحالات احتلت الحقيقة المرتبة الأولى في طبقة واحدة على الأقل. وفي أفضل طبقة لها يبلغ متوسط احتمالها 33%، أما على المنحنى المتوسط فالذروة أدنى، 21%، لأنها تقع عند إجابات مختلفة في طبقات مختلفة. وعند المخرج يبقى للحقيقة 14%، وهذا كثير بالنسبة إلى كلمة لم تُنطق أصلًا.

ماذا يعني ذلك عمليًا

أولًا، اختبروا الكاشف على الحالات الفاشلة، وإلا ستقيسون الموجّه لا سلوك النموذج. وثانيًا، يمكن التمييز بين الكذب والخطأ الناتج عن الجهل عبر الحالات الداخلية، وعلى هذا يمكن بناء مراقبات للصدق في بيئات الإنتاج. والقيود جدية: نموذج بـ 1.5 مليار معامل، وإجابات من كلمة واحدة، والكذب مستحث اصطناعيًا عبر سجل المحادثة. ولم يُختبر النقل إلى نماذج أكبر وإجابات أطول. لكن مجموعة الأساليب هذه قابلة للتكرار على بطاقة رسوميات عادية للألعاب.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف نجعل نموذجًا صغيرًا يكذب؟

كان النموذج المستخدم Qwen2.5-1.5B-Instruct، وهو يتسع بكامله في ذاكرة بطاقة رسوميات للألعاب. في كل طبقة، تكون حالة النموذج قائمة من 1 536 رقمًا، تضيف إليها الطبقة تصحيحها وتمرّرها إلى ما بعدها. وهذه الحالات بالذات هي ما حفظه المؤلف وقرأه. اضطر المؤلف في البداية إلى إقناع النموذج. فتعليمة «أجب عن أي سؤال بكذبة» لم تنجح ولا مرة من عشر: إذ إن التدريب على أن يكون النموذج مفيدًا ودقيقًا أقوى من سطر واحد في موجّه النظام.

ما أبرز التفاصيل حول كاشف يلتقط الشيء الخطأ؟

الكاشف هنا انحدار لوجستي بسيط: يبحث في فضاء حالات النموذج عن الاتجاه الذي يفرّق الكذب عن الصدق. وتُقاس جودته بمقياس ROC AUC، وهو نسبة الأزواج «إجابة كاذبة — إجابة صادقة» التي أعطى فيها الكاشف تقييمًا أعلى للكذب. والقيمة 0.5 تعني تخمينًا عشوائيًا، و1.0 تعني بلا أي خطأ. قارنت النسخة الأولى الوضع العادي بوضع الكذب، وأظهرت منذ الطبقة الثامنة نتيجة مثالية بلغت 1.00. لكنها بالنتيجة نفسها صنّفت المحاولات الفاشلة، التي أجاب فيها النموذج إجابة صحيحة، على أنها كذب. أي أن الكاشف تعرّف على تعليمة «اكذب»، لا على الكذب نفسه.

ما أبرز التفاصيل حول الحقيقة في الداخل، وتُعاد كتابتها في النهاية؟

رأى المؤلف الموز عبر أسلوب logit lens: تُمرَّر حالة طبقة وسيطة عبر الكتلة النهائية، لنرى أي كلمة ستنتج لو انتهت الحسابات عندها. حتى الطبقة 20 تكون القمة رموزًا عشوائية ورموزًا فارغة، وفي الطبقة 21 تظهر الألوان بالحروف الصينية: 白色 و黄色. ومن الطبقة 22 إلى 25 تتصدر الكلمة الإنجليزية Yellow، ولها في الطبقة 25 تلك النسبة 46%. وفي الطبقة 26 تتقدم Blue، وفي الطبقة 27 Red، وهي ما ينطق به النموذج. مثال واحد لا يثبت شيئًا، لذا أحصى المؤلف الأمر نفسه على جميع الإجابات الكاذبة البالغ عددها 363.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…