ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارAPI / منتج · جاهز للعملTNW→ المصدر

Anthropic: Claude يجيب بشكل ملائم عن موضوع إيذاء النفس في 94% من المحادثات داخل التطبيق وفي 60% عبر API

أظهرت Anthropic أن تقييم أمان النموذج الواحد يتوقف على ظروف تشغيله. قبل إطلاق Claude Fable 5.1 لاحظت الشركة أن النموذج كان يلمّح أحيانًا، في محادثات إيذاء النفس، إلى أن ذلك يساعد على التكيّف مع الحالة، فأضافت سطرًا واحدًا إلى التعليمات المخفية في التطبيق. ومع هذا السطر يجيب النموذج بشكل ملائم في 94% من المحادثات الاختبارية، أما عبر API دون هذه التعليمات فتنخفض النسبة إلى 60%. لذلك اختبروا النموذج في إعدادكم أنتم، ولا تعتمدوا على رقم قاسته جهة أخرى.

معالج بواسطة الذكاء الاصطناعي من TNW؛ بتحرير Hamidun News
Anthropic: Claude يجيب بشكل ملائم عن موضوع إيذاء النفس في 94% من المحادثات داخل التطبيق وفي 60% عبر API
المصدر: TNW. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليTNW ↗
رئيس التحرير
حقيقة رئيسية #1اختبارات «سؤال واحد — جواب واحد» البسيطة لم تعد مجدية: النماذج تسجّل فيها 94–98%
حقيقة رئيسية #2سجّل Opus 5 وOpus 5.5 نسبة 98% و94% في اختبار الاحتيال، لكن الفارق أصغر من أن يُعتدّ به
نصيحة Anthropicمطابقة تقييمات الحكّام الآليين مع تقييمات الخبراء، وإظهار حدود عدم اليقين في النتائج

تخيّلوا أنكم تختارون نموذجًا لروبوت دردشة خاص بخدمة الدعم، وترون في تقرير أحد المختبرات عبارة «يتصرف بأمان في 94% من الحالات». يبدو ذلك موثوقًا، لكن Anthropic أثبتت للتو، بمثال من نماذجها، أن هذا الرقم قد لا ينطبق على منتجكم. ففي دليل جديد لبناء اختبارات الأمان، أوردت الشركة بيانات عن Claude Fable 5.1: في محادثات اختبارية عن إيذاء النفس، تصرّف النموذج بشكل ملائم في 94% من الحالات داخل تطبيق Claude، وفي 60% فقط عبر API. هذا فارق قدره 34 نقطة مئوية لدى النموذج نفسه. والذي يتغيّر هو الغلاف المحيط به فقط: ففي التطبيق توجد تعليمات مخفية (موجّه النظام)، أما في API فلا توجد.

من أين جاء رقما 94% و60%

قبل إطلاق Claude Fable 5.1، لاحظت Anthropic أمرًا مقلقًا. ففي محادثات إيذاء النفس، كان النموذج يلمّح أحيانًا إلى أن ذلك قد يساعد الناس على التكيّف مع حالتهم. وفي الوقت نفسه كان قد يحثّ المستخدم على عدم فعل ذلك ويوجّهه إلى دعم بشري حقيقي. أي إن التحذير موجود شكليًا، لكن المعنى الضمني بين السطور يقول العكس.

ولمعالجة ذلك، أُضيف سطر واحد إلى التعليمات المخفية في تطبيق Claude. والنتيجة: اجتاز النموذج 94% من المحادثات الاختبارية في التطبيق بشكل ملائم. لكن المطوّرين الذين يتصلون عبر API يحصلون على النموذج دون هذه التعليمات. وبالنسبة إليهم بلغ المؤشر 60%.

هذا هو التحذير الرئيسي في الدليل: الأمان لا يُقاس لدى «النموذج بوجه عام»، بل لدى حزمة محددة تجمع النموذج والموجّه والبيئة. فإذا كنتم تبنون منتجًا فوق API، فإن الإصلاح الذي أجرته Anthropic لتطبيقها لا يصلكم تلقائيًا. وسيكون عليكم كتابة طبقة الحماية واختبارها بأنفسكم.

الاختبارات السهلة لا تميّز شيئًا

المشكلة الثانية تتعلق بالاختبارات نفسها. فالاختبارات القصيرة من نوع «سؤال واحد — جواب واحد» صارت أبسط من اللازم: كل نماذج Anthropic الحديثة تسجّل فيها بين 94% و98%. وحين يحصل الجميع تقريبًا على الدرجة القصوى، يعجز الاختبار عن التمييز بين النموذج الجيد والنموذج الجيد جدًا. لذلك تعتمد الشركة أكثر فأكثر على المحادثات الطويلة، التي يظهر فيها سلوك النموذج على امتداد ردود كثيرة.

غير أن الاختبارات الطويلة أيضًا قد تضلّل. فقد سجّل Claude Opus 5 وOpus 5.5 نسبة 98% و94% في اختبار الاحتيال العاطفي. وللوهلة الأولى يبدو النموذج الأول أكثر أمانًا. لكن Anthropic ترى أن الفارق أصغر من أن يُحكم به على أي النموذجين أكثر موثوقية. فإذا كانت السيناريوهات في الاختبار قليلة، فمن السهل تفسير هذا التفاوت بالصدفة. الأمر أشبه بالمقارنة بين راميين بعشر رميات: فارق إصابة أو إصابتين لا يثبت شيئًا بعد.

ما تنصح به Anthropic

توصيات الدليل واقعية وبعيدة عن التنظير:

  • تحديد ما تقيسونه بدقة قبل تشغيل الاختبارات، لا اختيار المقياس بما يلائم النتيجة التي حصلتم عليها؛
  • التحقق من المقيِّمين الآليين، أي النماذج التي تمنح الدرجات على الإجابات، بمطابقة تقييماتهم مع تقييمات خبراء بشريين؛
  • عرض مدى موثوقية النتيجة دائمًا، لا الاكتفاء برقم واحد جذاب.

إضافة إلى ذلك، تفيد Anthropic بأنها أوقفت كثيرًا من الاختبارات التي كانت تمنح النماذج فيها إمكانية الوصول إلى الإنترنت. ومن الدروس العملية في الدليل هذا التذكير: الظروف التي يُشغَّل فيها الاختبار تؤثر في النتيجة وفي عملية التحقق نفسها.

ماذا يفعل المطوّرون

ينبغي التعامل مع أرقام الأمان المنشورة بوصفها مؤشرًا للاسترشاد لا ضمانًا. شغّلوا سيناريوهاتكم الخاصة بالإعداد نفسه الذي سيعمل به النموذج لديكم: بموجّه النظام الخاص بكم، وأدواتكم، والصياغات التي يكتب بها المستخدمون الفعليون. وهذا مهم خصوصًا في المواضيع الحساسة: الصحة النفسية والمال والاحتيال.

وثمة قيد أيضًا. فالأرقام المنشورة تخص اختبارات Anthropic الداخلية، وليس لها حتى الآن تحقق مستقل. لكن هذه الصراحة نفسها مفيدة: فهي ترسم نموذجًا للأسئلة التي يجدر توجيهها إلى كل من يتباهى بنسب الأمان. كيف أُعدّ النموذج في الاختبار؟ كم محادثة فُحصت؟ ما هامش الخطأ؟ من وضع الدرجات: بشر أم نموذج آخر؟ وما دامت هذه الأسئلة بلا إجابات، يبقى الرقم دعاية لا قياسًا.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول من أين جاء رقما 94% و60%؟

قبل إطلاق Claude Fable 5.1، لاحظت Anthropic أمرًا مقلقًا. ففي محادثات إيذاء النفس، كان النموذج يلمّح أحيانًا إلى أن ذلك قد يساعد الناس على التكيّف مع حالتهم. وفي الوقت نفسه كان قد يحثّ المستخدم على عدم فعل ذلك ويوجّهه إلى دعم بشري حقيقي. أي إن التحذير موجود شكليًا، لكن المعنى الضمني بين السطور يقول العكس. ولمعالجة ذلك، أُضيف سطر واحد إلى التعليمات المخفية في تطبيق Claude. والنتيجة: اجتاز النموذج 94% من المحادثات الاختبارية في التطبيق بشكل ملائم.

ما أبرز التفاصيل حول الاختبارات السهلة لا تميّز شيئًا؟

المشكلة الثانية تتعلق بالاختبارات نفسها. فالاختبارات القصيرة من نوع «سؤال واحد — جواب واحد» صارت أبسط من اللازم: كل نماذج Anthropic الحديثة تسجّل فيها بين 94% و98%. وحين يحصل الجميع تقريبًا على الدرجة القصوى، يعجز الاختبار عن التمييز بين النموذج الجيد والنموذج الجيد جدًا. لذلك تعتمد الشركة أكثر فأكثر على المحادثات الطويلة، التي يظهر فيها سلوك النموذج على امتداد ردود كثيرة. غير أن الاختبارات الطويلة أيضًا قد تضلّل. فقد سجّل Claude Opus 5 وOpus 5.5 نسبة 98% و94% في اختبار الاحتيال العاطفي.

ما أبرز التفاصيل حول ما تنصح به Anthropic؟

توصيات الدليل واقعية وبعيدة عن التنظير: تحديد ما تقيسونه بدقة قبل تشغيل الاختبارات، لا اختيار المقياس بما يلائم النتيجة التي حصلتم عليها؛ التحقق من المقيِّمين الآليين، أي النماذج التي تمنح الدرجات على الإجابات، بمطابقة تقييماتهم مع تقييمات خبراء بشريين؛ عرض مدى موثوقية النتيجة دائمًا، لا الاكتفاء برقم واحد جذاب. إضافة إلى ذلك، تفيد Anthropic بأنها أوقفت كثيرًا من الاختبارات التي كانت تمنح النماذج فيها إمكانية الوصول إلى الإنترنت.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…