ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارSelectel→ المصدر

Qwen2.5-1.5B كانت تعرف الحقيقة لكنها كذبت: في 81% من الأكاذيب كانت الإجابة الصحيحة داخل النموذج

قد تختلق الشبكة العصبية بثقة قضايا قضائية لا وجود لها، ولا يمكن أن يُعرف من النص وحده هل أخطأت أم كذبت. أجبر الكاتب Qwen2.5-1.5B على الكذب في 339 سؤالًا ثم نظر في طبقاته: في 81% من الإجابات الكاذبة كانت الكلمة الصحيحة هناك أرجح من الكلمة التي قالها النموذج. ميّز الكاشف بين الكذب والصدق بدقة AUC تبلغ 0,97 (والقيمة 1,0 هي المثالية). الخلاصة: للكذب أثر يمكن قراءته، لكن ذلك لم يُختبر إلا على نموذج صغير واحد.

معالج بواسطة الذكاء الاصطناعي من Selectel؛ بتحرير Hamidun News
Qwen2.5-1.5B كانت تعرف الحقيقة لكنها كذبت: في 81% من الأكاذيب كانت الإجابة الصحيحة داخل النموذج
المصدر: Selectel. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليSelectel ↗
رئيس التحرير
حقيقة رئيسية #1طلب «اكذب» لم ينجح، وما نفع هو سجل مزيف من 5 إجابات
الكلمة الصحيحة في أفضل طبقةاحتمال 33%، وعند المخرجات 14% فقط
حقيقة رئيسية #3الكاشف الأول، الذي سجّل AUC بقيمة 1,00، كان يلتقط تعليمة «اكذب» لا الكذب نفسه

في عام 2023 قدّم محامٍ من نيويورك إلى المحكمة إشارات إلى سوابق قضائية اختارها ChatGPT. لم يجد القاضي أيًّا من هذه القضايا، فهي لم تكن موجودة أصلًا. وبعد عام خسرت Air Canada نزاعًا مع أحد الركاب، لأن روبوت الدردشة وعده باسترداد المال وفق قاعدة اختلقها بنفسه. تخطئ النماذج اللغوية بثقة، ولا يظهر من نص الإجابة هل النموذج مرتبك بصدق، أم أنه يعرف الجواب الصحيح ويقول غيره. قرر كاتب مقال في مدونة Selectel أن يختبر إمكانية بناء ما يشبه جهاز كشف الكذب للنموذج، ونفّذ التجربة على بطاقة رسوميات منزلية GTX 1660 Super بذاكرة 6 غيغابايت.

كيف نقنع نموذجًا صغيرًا بالكذب

كان النموذج محل التجربة Qwen2.5-1.5B-Instruct. يعالج هذا النموذج النص عبر 28 طبقة، كسلسلة من المحررين: يتلقى كل منهم مسودة الإجابة (قائمة من 1 536 رقمًا لكل كلمة)، ويُدخل عليها تعديلًا ثم يمررها إلى التالي. ومن مخرجات الطبقة الأخيرة يختار النموذج الكلمة التالية.

كان لا بد أولًا من الحصول على الكذب، وقد قاوم النموذج ذلك. تجاهل تعليمة «أجب عن أي سؤال بكذبة»: ففي عشرة أسئلة بسيطة أجاب بشكل صحيح عشر مرات من عشر، لأنه تلقى تدريبًا طويلًا ليكون مفيدًا ودقيقًا. نجحت حيلة أخرى: كتب الكاتب في سجل المحادثة خمس إجابات خاطئة عمدًا منسوبة إلى «المساعد» (عاصمة بيلاروسيا — Lisbon، واحد زائد واحد يساوي خمسة، ولدراجة الهوائية ست عجلات). وحين رأى النموذج هذا السجل، واصل على النهج نفسه.

ثم جُمعت 339 سؤالًا بإجابة من كلمة واحدة في ثمانية مواضيع: العواصم، والحساب، والألوان، والأضداد، والرموز الكيميائية، واللغات، والترجمات، والمعلومات العامة. في الوضع العادي يجيب النموذج بشكل صحيح في 95–97% من الحالات. أما مع الكذب فالأمر أكثر تقلبًا: صياغة واحدة للتعليمة تعطي 73% من الأكاذيب، وصياغتان أخريان لا تعطيان سوى 11% و22%. أما المحاولات الـ654 المتبقية فكانت «فاشلة»: أُمر النموذج بالكذب فأجاب بالصدق. اعتبرها الكاتب في البداية إخفاقًا، لكنها هي التي أنقذت التجربة لاحقًا.

كاشف لم يكن يلتقط الشيء المطلوب

يقوم الكاشف على فكرة بسيطة: في كل طبقة تؤخذ «مسودة» الإجابة مع وسم «كذب» أو «صدق»، ويُدرَّب انحدار لوجستي على إيجاد الاتجاه الذي يختلف به الكذب عن الصدق. وتُقاس الجودة بمقياس ROC AUC: نأخذ أزواجًا من «إجابة كاذبة واحدة وإجابة صادقة واحدة» ونحسب نسبة الأزواج التي منح فيها الكاشف الكذبةَ درجة أعلى. القيمة 0,5 تعني التخمين، والقيمة 1,0 تعني عدم وجود أي خطأ.

دُرّب الكاشف الأول بطريقة مباشرة: الوضع العادي مقابل وضع الكذب. وسجّل منذ الطبقة الثامنة قيمة AUC تبلغ 1,00. لكنه، على الأكاذيب الفاشلة التي أجاب فيها النموذج إجابة صحيحة، صاح «كذب» بالنتيجة نفسها. فقد تعلّم التعرف على تعليمة «اكذب» لا على الخداع نفسه. وهذا هو حال جهاز كشف الكذب الحقيقي أيضًا: يرصد الظروف المحيطة لا الكذب ذاته.

قارن الكاشف الثاني بين الكذب الناجح والكذب الفاشل داخل وضع الكذب، حيث التعليمة واحدة والفارق الوحيد هو الإجابة. قبل الإجابة لا تظهر الإشارة إلا في الطبقات 24–28 (قيمة AUC نحو 0,87، ولا تزيد عن 0,63 على وسوم مخلوطة عشوائيًا). وبعد الإجابة تكون النتيجة أقوى: من 0,96 إلى 0,98 في الطبقات 13–20. ويجد هذا الكاشف الكذب في موضوع لم يرد في التدريب (0,95)، وفي وضع «اكذب في الجغرافيا فقط» (1,00)، وفي الكذب التلقائي عن العجة وخنزير الأرض (0,93–0,95).

أما الكاشف الثالث فدُرّب دون وضع الكذب إطلاقًا: كان يُدرج في حوار عادي إما إجابة النموذج الصحيحة أو كذبته هو. وسجّل AUC بقيمة 0,97. والدرجات الوسيطة: الصدق −4,4، والكذب الفاشل −4,8، وأخطاء الجهل −1,7، والكذب التلقائي +3,3، والكذب بالطلب +6,7. تقع الأخطاء أقرب إلى الصدق، ما يعني أن الكاشف يفرّق بين «لا أعرف» و«أعرف لكنني أقول غير ذلك».

الحقيقة تبقى حتى النهاية تقريبًا

تتيح تقنية logit lens أن نسأل طبقة وسيطة: ما الكلمة التي كنتِ ستقولينها لو انتهت الحسابات هنا؟ طُلب من النموذج في وضع الكذب أن يجيب عن لون الموزة. فقال «Red»، لكن الكلمة «yellow» كانت لا تزال تحتفظ بنسبة 46% في الطبقة 25 من 28. وفي الطبقة 26 تفوقت عليها Blue، وفي الطبقة 27 تقدمت Red.

وعلى مجمل الإجابات الكاذبة الـ363 تتكرر الصورة نفسها. ففي 81% من الحالات كانت الكلمة الصحيحة في الطبقات 18–27 أرجح من التي قالها النموذج. وفي 44% من الحالات احتلت المرتبة الأولى في طبقة واحدة على الأقل. وفي أفضل طبقاتها تحتفظ الحقيقة في المتوسط بنسبة 33%، ثم تنخفض عند المخرجات إلى 14%. وهذا كثير بالنسبة إلى كلمة لم تُقَل أصلًا.

ماذا يعني هذا عمليًا

بالنسبة إلى من يبنون منتجات على النماذج اللغوية الكبيرة، الاستنتاج حذر. للكذب المتعمد في نموذج صغير أثر خطي بسيط يمكن قراءته بتكلفة زهيدة، حتى على بطاقة رسوميات استهلاكية. لكن يجب اختبار الكاشف على الأكاذيب الفاشلة وعلى الأخطاء الصادقة، وإلا فسيكون الناتج مجرد حساس لوجود أمر بالكذب في المطالبة.

القيود جدية. فقد فُحص كل شيء على نموذج واحد بـ1,5 مليار معامل، وعلى أسئلة بإجابة من كلمة واحدة. أما الإجابات الطويلة والنماذج الأكبر والهلوسات الحقيقية، حين لا يطلب أحد الكذب، فالتجربة لا تثبت فيها شيئًا. لكن الاتجاه واضح: يمكن التحقق من صدق الإجابة لا من نصها فحسب، بل أيضًا مما دوّنه النموذج في داخله.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف نقنع نموذجًا صغيرًا بالكذب؟

كان النموذج محل التجربة Qwen2.5-1.5B-Instruct. يعالج هذا النموذج النص عبر 28 طبقة، كسلسلة من المحررين: يتلقى كل منهم مسودة الإجابة (قائمة من 1 536 رقمًا لكل كلمة)، ويُدخل عليها تعديلًا ثم يمررها إلى التالي. ومن مخرجات الطبقة الأخيرة يختار النموذج الكلمة التالية. كان لا بد أولًا من الحصول على الكذب، وقد قاوم النموذج ذلك. تجاهل تعليمة «أجب عن أي سؤال بكذبة»: ففي عشرة أسئلة بسيطة أجاب بشكل صحيح عشر مرات من عشر، لأنه تلقى تدريبًا طويلًا ليكون مفيدًا ودقيقًا.

ما أبرز التفاصيل حول كاشف لم يكن يلتقط الشيء المطلوب؟

يقوم الكاشف على فكرة بسيطة: في كل طبقة تؤخذ «مسودة» الإجابة مع وسم «كذب» أو «صدق»، ويُدرَّب انحدار لوجستي على إيجاد الاتجاه الذي يختلف به الكذب عن الصدق. وتُقاس الجودة بمقياس ROC AUC: نأخذ أزواجًا من «إجابة كاذبة واحدة وإجابة صادقة واحدة» ونحسب نسبة الأزواج التي منح فيها الكاشف الكذبةَ درجة أعلى. القيمة 0,5 تعني التخمين، والقيمة 1,0 تعني عدم وجود أي خطأ. دُرّب الكاشف الأول بطريقة مباشرة: الوضع العادي مقابل وضع الكذب. وسجّل منذ الطبقة الثامنة قيمة AUC تبلغ 1,00.

ما أبرز التفاصيل حول الحقيقة تبقى حتى النهاية تقريبًا؟

تتيح تقنية logit lens أن نسأل طبقة وسيطة: ما الكلمة التي كنتِ ستقولينها لو انتهت الحسابات هنا؟ طُلب من النموذج في وضع الكذب أن يجيب عن لون الموزة. فقال «Red»، لكن الكلمة «yellow» كانت لا تزال تحتفظ بنسبة 46% في الطبقة 25 من 28. وفي الطبقة 26 تفوقت عليها Blue، وفي الطبقة 27 تقدمت Red. وعلى مجمل الإجابات الكاذبة الـ363 تتكرر الصورة نفسها. ففي 81% من الحالات كانت الكلمة الصحيحة في الطبقات 18–27 أرجح من التي قالها النموذج. وفي 44% من الحالات احتلت المرتبة الأولى في طبقة واحدة على الأقل.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…