OpenAI تشرح كيف يكشف ChatGPT التهديدات ويحظر سيناريوهات العنف الخطرة

كشفت OpenAI كيف تبني منظومة حماية المجتمع في ChatGPT: من القيود على مستوى النموذج إلى رصد الأنماط الخطرة وإحالة الحالات العاجلة إلى جهات إنفاذ القانون. وتحاول الشركة الحفاظ على فائدة الخدمة، مع منع استخدامها في التهديد والعنف وغيرهما من أشكال الضرر الفعلي.

حدود النموذج

يقوم نهج OpenAI على Model Spec، وهي مجموعة مبادئ يُفترض أن تجعل النموذج مفيدًا وآمنًا في آن واحد. ويجري تدريب ChatGPT على التمييز بين الأسئلة المحايدة والأسئلة التي قد تكون خطرة بشأن العنف: يمكن مناقشة الأحداث التاريخية والأخبار والوقاية وعلم النفس والمعلومات العامة، لكن لا يجوز تقديم تعليمات خطوة بخطوة أو تكتيكات أو تخطيط يساعد على إلحاق الأذى.

المشكلة أن الحدود ليست واضحة دائمًا. فالسؤال نفسه قد يكون بحثيًا، وقد يكون جزءًا من التحضير لهجوم، ولذلك تواصل OpenAI ضبط سلوك النموذج وتتحقق منه بالتعاون مع خبراء خارجيين.

وتشدد الشركة على أن الخطر لا يظهر دائمًا في رسالة واحدة. فأحيانًا لا تتشكل إشارة الإنذار إلا من سلسلة طويلة من الرسائل، أو من محاولات متكررة للالتفاف على القيود، أو من سياق المحادثة ككل. لذلك لا يقتصر بناء الأمان على حظر كلمات بعينها، بل يشمل قدرة النموذج على ملاحظة علامات أدق للتصعيد.

ويُطبَّق نهج مشابه على الحديث عن إيذاء النفس: فهدف النظام ليس دعم الفعل الخطر، بل تخفيف التوتر وتوجيه الشخص إلى مساعدة حقيقية.

كيف تُرصد المخاطر

لا تكفي رفوض النموذج وحدها، ولذلك تستخدم OpenAI طبقة منفصلة من المراقبة وإنفاذ القواعد فوق ChatGPT نفسه. وتستند الشركة إلى سياسات الاستخدام الخاصة بها، وتحظر صراحةً استخدام الخدمة في التحضير للعنف والترهيب والإرهاب وتطوير الأسلحة والأنشطة غير القانونية وتخريب الممتلكات والالتفاف على آليات الحماية. وإذا رأى النظام أن مستخدمًا يحاول تحويل روبوت المحادثة إلى أداة لإلحاق ضرر فعلي، فقد لا يقتصر الرد على رفض الحوار، بل قد يشمل تقييد الوصول إلى الخدمة بالكامل.

• مصنِّفات ونماذج استدلال للبحث عن الإشارات المشبوهة
• مطابقة البصمات (hash) وقوائم الحظر وأنظمة مراقبة آلية أخرى
• تحليل لا يقتصر على النص، بل يشمل سلوك الحساب عبر الزمن
• مراجعة بشرية للمحادثات الموسومة يجريها متخصصون مدرَّبون
• حظر الحساب ومنع محاولات إنشاء ملفات جديدة بعد الحظر

وتذكر OpenAI أن الأنظمة الآلية تعمل على نطاق واسع، لكن القرار النهائي في الحالات المعقدة يُتخذ في ضوء السياق. فلا ينظر المراجعون إلى العبارة المحددة وحدها، بل إلى الرسائل المجاورة وسجل السلوك واحتمال أن تكون أمامهم مخالفة حقيقية لا إنذارًا كاذبًا.

والمعنى للمستخدم بسيط: أصبح الالتفاف على القيود عبر سلسلة من الطلبات التي تبدو بريئة أصعب، لأن النظام يقيّم النمط ككل، لا الرد المنفرد فحسب.

تصعيد الحالات المعقدة

تطبّق OpenAI معظم إجراءاتها مباشرة: تحذيرًا أو حظرًا أو منعًا للحسابات المرتبطة. لكن هناك مسارًا منفصلًا للتصعيد في بعض الحالات. فإذا أشارت العلامات إلى خطر جسيم بإلحاق ضرر في العالم الواقعي، تُحال الحالة إلى مراجعة معمّقة وفق معايير مقنَّنة. ولا يقتصر المشاركون في هذا المسار على الفرق الداخلية، بل يضم أيضًا متخصصين في الصحة النفسية والمخاطر السلوكية.

وتلفت OpenAI إلى أن الشخص قد لا يذكر الهدف أو الوسيلة أو التوقيت صراحةً، لكن مجموع التلميحات قد يدل مع ذلك على تهديد وشيك محتمل. وإذا خلصت الشركة إلى أن خطر العنف حقيقي وقريب زمنيًا، فإنها تُبلغ جهات إنفاذ القانون.

وبالتوازي، تطوّر OpenAI آليات دعم أكثر ليونة. فبالنسبة إلى المراهقين، توجد بالفعل ميزات للرقابة الأبوية: يستطيع الوالدان ربط حسابهما بحساب الطفل وضبط وضع آمن، دون الحصول على إمكانية الاطلاع على المحادثات نفسها. وفي حالات نادرة وحادة، قد يتلقى الوالدان إشعارًا يكفي لتقديم المساعدة. أما الخطوة التالية فستكون ميزة «جهة الاتصال الموثوقة»، التي تتيح للمستخدم البالغ أن يحدد مسبقًا شخصًا يمكن إرسال إشارة إليه إذا بدا للنظام أن المستخدم بحاجة إلى دعم.

ماذا يعني ذلك

تراهن OpenAI على أمان متعدد المستويات: يحدّ النموذج أولًا من الردود الخطرة، ثم ترصد أنظمة منفصلة الأنماط المشبوهة، بينما يتولى بشر مراجعة أشد الحالات خطورة مع إمكانية التصعيد إلى جهات خارجية. وهذه إشارة إلى المستخدمين والشركات بأن ChatGPT يتحول تدريجيًا من مجرد واجهة محادثة إلى بنية تحتية لها قواعد ومراقبة وإجراءات استجابة، تشبه تلك المعمول بها منذ زمن في المنصات الاجتماعية والاتصالية الكبرى.