Qwen2.5-1.5B كانت تعرف الحقيقة لكنها كذبت: في 81% من الأكاذيب كانت الإجابة الصحيحة داخل النموذج
قد تختلق الشبكة العصبية بثقة قضايا قضائية لا وجود لها، ولا يمكن أن يُعرف من النص وحده هل أخطأت أم كذبت. أجبر الكاتب Qwen2.5-1.5B على الكذب في 339 سؤالًا ثم نظر في طبقاته: في 81% من الإجابات الكاذبة كانت الكلمة الصحيحة هناك أرجح من الكلمة التي قالها النموذج. ميّز الكاشف بين الكذب والصدق بدقة AUC تبلغ 0,97 (والقيمة 1,0 هي المثالية). الخلاصة: للكذب أثر يمكن قراءته، لكن ذلك لم يُختبر إلا على نموذج صغير واحد.
معالج بواسطة الذكاء الاصطناعي من Selectel؛ بتحرير Hamidun News
في عام 2023 قدّم محامٍ من نيويورك إلى المحكمة إشارات إلى سوابق قضائية اختارها ChatGPT. لم يجد القاضي أيًّا من هذه القضايا، فهي لم تكن موجودة أصلًا. وبعد عام خسرت Air Canada نزاعًا مع أحد الركاب، لأن روبوت الدردشة وعده باسترداد المال وفق قاعدة اختلقها بنفسه. تخطئ النماذج اللغوية بثقة، ولا يظهر من نص الإجابة هل النموذج مرتبك بصدق، أم أنه يعرف الجواب الصحيح ويقول غيره. قرر كاتب مقال في مدونة Selectel أن يختبر إمكانية بناء ما يشبه جهاز كشف الكذب للنموذج، ونفّذ التجربة على بطاقة رسوميات منزلية GTX 1660 Super بذاكرة 6 غيغابايت.
كيف نقنع نموذجًا صغيرًا بالكذب
كان النموذج محل التجربة Qwen2.5-1.5B-Instruct. يعالج هذا النموذج النص عبر 28 طبقة، كسلسلة من المحررين: يتلقى كل منهم مسودة الإجابة (قائمة من 1 536 رقمًا لكل كلمة)، ويُدخل عليها تعديلًا ثم يمررها إلى التالي. ومن مخرجات الطبقة الأخيرة يختار النموذج الكلمة التالية.
كان لا بد أولًا من الحصول على الكذب، وقد قاوم النموذج ذلك. تجاهل تعليمة «أجب عن أي سؤال بكذبة»: ففي عشرة أسئلة بسيطة أجاب بشكل صحيح عشر مرات من عشر، لأنه تلقى تدريبًا طويلًا ليكون مفيدًا ودقيقًا. نجحت حيلة أخرى: كتب الكاتب في سجل المحادثة خمس إجابات خاطئة عمدًا منسوبة إلى «المساعد» (عاصمة بيلاروسيا — Lisbon، واحد زائد واحد يساوي خمسة، ولدراجة الهوائية ست عجلات). وحين رأى النموذج هذا السجل، واصل على النهج نفسه.
ثم جُمعت 339 سؤالًا بإجابة من كلمة واحدة في ثمانية مواضيع: العواصم، والحساب، والألوان، والأضداد، والرموز الكيميائية، واللغات، والترجمات، والمعلومات العامة. في الوضع العادي يجيب النموذج بشكل صحيح في 95–97% من الحالات. أما مع الكذب فالأمر أكثر تقلبًا: صياغة واحدة للتعليمة تعطي 73% من الأكاذيب، وصياغتان أخريان لا تعطيان سوى 11% و22%. أما المحاولات الـ654 المتبقية فكانت «فاشلة»: أُمر النموذج بالكذب فأجاب بالصدق. اعتبرها الكاتب في البداية إخفاقًا، لكنها هي التي أنقذت التجربة لاحقًا.
كاشف لم يكن يلتقط الشيء المطلوب
يقوم الكاشف على فكرة بسيطة: في كل طبقة تؤخذ «مسودة» الإجابة مع وسم «كذب» أو «صدق»، ويُدرَّب انحدار لوجستي على إيجاد الاتجاه الذي يختلف به الكذب عن الصدق. وتُقاس الجودة بمقياس ROC AUC: نأخذ أزواجًا من «إجابة كاذبة واحدة وإجابة صادقة واحدة» ونحسب نسبة الأزواج التي منح فيها الكاشف الكذبةَ درجة أعلى. القيمة 0,5 تعني التخمين، والقيمة 1,0 تعني عدم وجود أي خطأ.
دُرّب الكاشف الأول بطريقة مباشرة: الوضع العادي مقابل وضع الكذب. وسجّل منذ الطبقة الثامنة قيمة AUC تبلغ 1,00. لكنه، على الأكاذيب الفاشلة التي أجاب فيها النموذج إجابة صحيحة، صاح «كذب» بالنتيجة نفسها. فقد تعلّم التعرف على تعليمة «اكذب» لا على الخداع نفسه. وهذا هو حال جهاز كشف الكذب الحقيقي أيضًا: يرصد الظروف المحيطة لا الكذب ذاته.
قارن الكاشف الثاني بين الكذب الناجح والكذب الفاشل داخل وضع الكذب، حيث التعليمة واحدة والفارق الوحيد هو الإجابة. قبل الإجابة لا تظهر الإشارة إلا في الطبقات 24–28 (قيمة AUC نحو 0,87، ولا تزيد عن 0,63 على وسوم مخلوطة عشوائيًا). وبعد الإجابة تكون النتيجة أقوى: من 0,96 إلى 0,98 في الطبقات 13–20. ويجد هذا الكاشف الكذب في موضوع لم يرد في التدريب (0,95)، وفي وضع «اكذب في الجغرافيا فقط» (1,00)، وفي الكذب التلقائي عن العجة وخنزير الأرض (0,93–0,95).
أما الكاشف الثالث فدُرّب دون وضع الكذب إطلاقًا: كان يُدرج في حوار عادي إما إجابة النموذج الصحيحة أو كذبته هو. وسجّل AUC بقيمة 0,97. والدرجات الوسيطة: الصدق −4,4، والكذب الفاشل −4,8، وأخطاء الجهل −1,7، والكذب التلقائي +3,3، والكذب بالطلب +6,7. تقع الأخطاء أقرب إلى الصدق، ما يعني أن الكاشف يفرّق بين «لا أعرف» و«أعرف لكنني أقول غير ذلك».
الحقيقة تبقى حتى النهاية تقريبًا
تتيح تقنية logit lens أن نسأل طبقة وسيطة: ما الكلمة التي كنتِ ستقولينها لو انتهت الحسابات هنا؟ طُلب من النموذج في وضع الكذب أن يجيب عن لون الموزة. فقال «Red»، لكن الكلمة «yellow» كانت لا تزال تحتفظ بنسبة 46% في الطبقة 25 من 28. وفي الطبقة 26 تفوقت عليها Blue، وفي الطبقة 27 تقدمت Red.
وعلى مجمل الإجابات الكاذبة الـ363 تتكرر الصورة نفسها. ففي 81% من الحالات كانت الكلمة الصحيحة في الطبقات 18–27 أرجح من التي قالها النموذج. وفي 44% من الحالات احتلت المرتبة الأولى في طبقة واحدة على الأقل. وفي أفضل طبقاتها تحتفظ الحقيقة في المتوسط بنسبة 33%، ثم تنخفض عند المخرجات إلى 14%. وهذا كثير بالنسبة إلى كلمة لم تُقَل أصلًا.
ماذا يعني هذا عمليًا
بالنسبة إلى من يبنون منتجات على النماذج اللغوية الكبيرة، الاستنتاج حذر. للكذب المتعمد في نموذج صغير أثر خطي بسيط يمكن قراءته بتكلفة زهيدة، حتى على بطاقة رسوميات استهلاكية. لكن يجب اختبار الكاشف على الأكاذيب الفاشلة وعلى الأخطاء الصادقة، وإلا فسيكون الناتج مجرد حساس لوجود أمر بالكذب في المطالبة.
القيود جدية. فقد فُحص كل شيء على نموذج واحد بـ1,5 مليار معامل، وعلى أسئلة بإجابة من كلمة واحدة. أما الإجابات الطويلة والنماذج الأكبر والهلوسات الحقيقية، حين لا يطلب أحد الكذب، فالتجربة لا تثبت فيها شيئًا. لكن الاتجاه واضح: يمكن التحقق من صدق الإجابة لا من نصها فحسب، بل أيضًا مما دوّنه النموذج في داخله.
- 21 نوفمبر 2026نموذج GPT-6 Cyber من OpenAI يكتشف نحو 35 ثغرة في iPhone وMac وأجهزة Apple الأخرى
- 21 نوفمبر 202622 وكيل من Claude بحثوا ست أسابيع في ألغاز الثقوب السوداء — وحلّوا مسألتين
- 21 نوفمبر 2026Google تفصل بين حفظ المحادثات والتدريب في Gemini: إلغاء التدريب دون خسارة السجل
- 21 نوفمبر 2026في الإصدار التجريبي الثاني من macOS 27.3: أبل تتيح تقييد وصول وكلاء الذكاء الاصطناعي إلى ملفات Mac
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول كيف نقنع نموذجًا صغيرًا بالكذب؟
كان النموذج محل التجربة Qwen2.5-1.5B-Instruct. يعالج هذا النموذج النص عبر 28 طبقة، كسلسلة من المحررين: يتلقى كل منهم مسودة الإجابة (قائمة من 1 536 رقمًا لكل كلمة)، ويُدخل عليها تعديلًا ثم يمررها إلى التالي. ومن مخرجات الطبقة الأخيرة يختار النموذج الكلمة التالية. كان لا بد أولًا من الحصول على الكذب، وقد قاوم النموذج ذلك. تجاهل تعليمة «أجب عن أي سؤال بكذبة»: ففي عشرة أسئلة بسيطة أجاب بشكل صحيح عشر مرات من عشر، لأنه تلقى تدريبًا طويلًا ليكون مفيدًا ودقيقًا.
ما أبرز التفاصيل حول كاشف لم يكن يلتقط الشيء المطلوب؟
يقوم الكاشف على فكرة بسيطة: في كل طبقة تؤخذ «مسودة» الإجابة مع وسم «كذب» أو «صدق»، ويُدرَّب انحدار لوجستي على إيجاد الاتجاه الذي يختلف به الكذب عن الصدق. وتُقاس الجودة بمقياس ROC AUC: نأخذ أزواجًا من «إجابة كاذبة واحدة وإجابة صادقة واحدة» ونحسب نسبة الأزواج التي منح فيها الكاشف الكذبةَ درجة أعلى. القيمة 0,5 تعني التخمين، والقيمة 1,0 تعني عدم وجود أي خطأ. دُرّب الكاشف الأول بطريقة مباشرة: الوضع العادي مقابل وضع الكذب. وسجّل منذ الطبقة الثامنة قيمة AUC تبلغ 1,00.
ما أبرز التفاصيل حول الحقيقة تبقى حتى النهاية تقريبًا؟
تتيح تقنية logit lens أن نسأل طبقة وسيطة: ما الكلمة التي كنتِ ستقولينها لو انتهت الحسابات هنا؟ طُلب من النموذج في وضع الكذب أن يجيب عن لون الموزة. فقال «Red»، لكن الكلمة «yellow» كانت لا تزال تحتفظ بنسبة 46% في الطبقة 25 من 28. وفي الطبقة 26 تفوقت عليها Blue، وفي الطبقة 27 تقدمت Red. وعلى مجمل الإجابات الكاذبة الـ363 تتكرر الصورة نفسها. ففي 81% من الحالات كانت الكلمة الصحيحة في الطبقات 18–27 أرجح من التي قالها النموذج. وفي 44% من الحالات احتلت المرتبة الأولى في طبقة واحدة على الأقل.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.