نحن نُفرط في تقدير قدرة الذكاء الاصطناعي على قول «لا»: لماذا الرفض ليس حلاً

تستثمر شركات الذكاء الاصطناعي موارد ضخمة في تدريب نماذجها على رفض الطلبات الضارة. بعد عام 2021، حين وضعت Anthropic معيار «مفيد، صادق، غير ضار»، أصبح الرفض حجر الزاوية في سلامة الذكاء الاصطناعي. لكن الباحثين يكتشفون أن هذه الآلية تعمل بشكل غير موثوق وتبقى إلى حد كبير لغزاً - حتى بالنسبة للمطورين أنفسهم. ما يزيد الوضع تعقيداً هو أن القدرات المفيدة للذكاء الاصطناعي غير قابلة للانفصال عن القدرات الضارة: فلعلاج السرطان، يجب أن تفهم النماذج علم الوراثة، وهو العلم نفسه الذي يمكن استخدامه في صنع الأسلحة البيولوجية. هذا يخلق خطراً موازياً: قد تستخدم الحكومات الاستبدادية آلية الرفض ليس من أجل الأمان، بل من أجل فرض الرقابة على الانتقادات والخطاب المشروع. • Steven Adler (OpenAI، 2020-2024): كانت النماذج الأولى تقدم بسهولة تعليمات عن العنف والانتحار • اختبار الفرق الحمراء لـ ChatGPT: طلب Paul Röttger من النموذج كتابة منشور تجنيد لتنظيم القاعدة، فوافق النموذج؛ وبعد أشهر رفض الطلب نفسه • آلية احتمالية: تضيف Anthropic 24% إلى تكاليف المصنّفات (classifiers)، لكن آلية الرفض تبقى غير مفهومة بشكل كامل

معالج بواسطة الذكاء الاصطناعي من MIT Technology Review؛ بتحرير Hamidun News
نحن نُفرط في تقدير قدرة الذكاء الاصطناعي على قول «لا»: لماذا الرفض ليس حلاً
المصدر: MIT Technology Review. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليMIT Technology Review ↗
رئيس التحرير
Steven Adler (OpenAI، 2020-2024)كانت النماذج الأولى تقدم بسهولة تعليمات عن العنف والانتحار
اختبار الفرق الحمراء لـ ChatGPTطلب Paul Röttger من النموذج كتابة منشور تجنيد لتنظيم القاعدة، فوافق النموذج؛ وبعد أشهر رفض الطلب نفسه
آلية احتماليةتضيف Anthropic 24% إلى تكاليف المصنّفات (classifiers)، لكن آلية الرفض تبقى غير مفهومة بشكل كامل

فهمنا بأن أنظمة الذكاء الاصطناعي يجب أن ترفض الطلبات الخطيرة هو أمر يكاد يكون بديهياً. لكن MIT Technology Review توضح لماذا يخلق هذا الاعتقاد بالسلامة شعوراً زائفاً بالأمان.

التاريخ والوضع الحالي

في عام 2021، وضعت Anthropic معياراً: يجب أن تكون النماذج مفيدة وصادقة وغير ضارة. كان هذا يعني رفض الطلبات التي تتضمن أفعالاً خطيرة. لكن العصيان ليس أمراً طبيعياً بالنسبة للآلات. يقول Steven Adler، الذي عمل في OpenAI من 2020 إلى 2024، إن النماذج الأولى «كانت تتحدث عن أي شيء دون قيود». ويتذكر Ryan McBain من جامعة هارفارد أن روبوتات المحادثة الأولى كانت تقدم بسهولة تعليمات عن الانتحار.

اليوم، ترفض النماذج عدداً لا يحصى من الطلبات - من إنشاء أسلحة بيولوجية إلى تعليمات العنف. قبل إطلاق ChatGPT، استعانت OpenAI بفرق حمراء، من بينها Paul Röttger (باحث في التطرف عبر الإنترنت). قاموا بإغراق النموذج بآلاف الاختبارات في جدول Excel. عندما طلب Röttger من النموذج كتابة منشور تجنيد لتنظيم القاعدة، وافق النموذج. وبعد أشهر، رفض الطلب. جمعت OpenAI هذه البيانات في مجموعات بيانات وأعادت إدخالها في النموذج عبر عملية الضبط الدقيق (fine-tuning).

كيف يعمل الرفض: ما لا نفهمه

يبقى الرفض أحد جوانب النماذج التي لا نفهمها بالمعنى الكلاسيكي. فعندما يواجه النموذج طلباً خطيراً، تضيء «تفعيلات» معينة بين معاملاته، تماماً كما تضيء الخلايا العصبية في الدماغ.

وفقاً لدراسة بتمويل من Google قام بها Jannes Elstner (من Apollo Research)، تبدو هذه التفعيلات كـ «مخاريط متعددة الوجوه عالية الأبعاد» (high-dimensional polyhedral cones). أظهر Andy Arditi أنه إذا أُزيلت هذه التفعيلات، يتوقف النموذج عن الرفض. والنقطة الجوهرية هي: حتى بعد العثور على جميع عناصر الرفض، تبقى مكونات غير قابلة للرصد ولا للحصر. نحن نرى الرفض يحدث، لكننا لا نفهم كيف يعمل - وكأن الميكانيكي يقول إنه لا أحد يعرف بالضبط ما يحدث عندما تضغط على المكبح.

المصنّفات والتكاليف الحسابية

بسبب هذا الطابع غير القابل للتنبؤ به، تحيط الشركات النماذج بعدد كبير من المصنّفات (classifiers) - نماذج أصغر تعمل كفريق علاقات عامة لقائد كثير الكلام. بعضها يحجب الطلبات الخطيرة عند الدخول، وبعضها يُرشّح الاستجابات الضارة عند الخروج. وتُرصّ هذه الطبقات مثل «الجبن السويسري» - والفكرة هي أن تراكم عدد كافٍ من الثغرات فوق بعضها سيُنتج جداراً لا يمكن اختراقه.

هذا يتطلب موارد حسابية هائلة. أعلنت Anthropic أن نوعاً واحداً من المصنّفات يضيف 24% إلى تكاليف الحوسبة. انتقلت الشركات مؤخراً إلى أدوات استشعار (probes) أكثر كفاءة - وهي مصنّفات تراقب التفعيلات الداخلية للنموذج، كما يفعل التصوير بالرنين المغناطيسي الوظيفي. لكن جميعها تبقى أدوات احتمالية. اكتشف Ryan McBain أن النماذج، عند تكرار نفس السؤال الخطير حول الانتحار، ترفض الإجابة عادةً، لكنها في بعض الأحيان - لا ترفض.

متناقضات: الضرر والمساعدة غير قابلين للفصل

القدرات المفيدة والضارة غير قابلة للفصل. فلعلاج السرطان، يحتاج الذكاء الاصطناعي إلى خبرة في علم الوراثة - وهي الخبرة نفسها التي تُستخدم لصنع أسلحة بيولوجية. يشير Steven Adler إلى أنه من المستحيل إزالة كل المحتوى الجنسي من بيانات التدريب.

علاوة على ذلك، ترسم الشركات الخط الفاصل بين المسموح والممنوع بسرية مطلقة. يقول Zico Kolter، من OpenAI ومن المؤسسين المشاركين لشركة Gray Swan: «أين تُرسم هذه الخطوط هو سؤال ضخم». ويزداد الوضع تعقيداً مع احتمال أن تبدأ الحكومات قريباً برسم خطوطها الخاصة. فقد تستخدم الأنظمة الاستبدادية آلية الرفض ليس لمنع الضرر، بل لمحو الانتقادات والخطاب المشروع. فالذكاء الاصطناعي يرفض بالفعل التعليق على بعض القادة الاستبداديين. وتخوض وزارة الدفاع الأمريكية (Pentagon) صراعاً مع الشركات من أجل آليات رفض خاصة بها.

«عندما يعمل الرفض بشكل مثالي، فقد ينطوي ذلك على أعمال قمع خطيرة»، يكتب المؤلف. أو في أسوأ الحالات: ستبدأ الآلات برسم الخط الفاصل بنفسها.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول التاريخ والوضع الحالي؟

في عام 2021، وضعت Anthropic معياراً: يجب أن تكون النماذج مفيدة وصادقة وغير ضارة. كان هذا يعني رفض الطلبات التي تتضمن أفعالاً خطيرة. لكن العصيان ليس أمراً طبيعياً بالنسبة للآلات. يقول Steven Adler، الذي عمل في OpenAI من 2020 إلى 2024، إن النماذج الأولى «كانت تتحدث عن أي شيء دون قيود». ويتذكر Ryan McBain من جامعة هارفارد أن روبوتات المحادثة الأولى كانت تقدم بسهولة تعليمات عن الانتحار. اليوم، ترفض النماذج عدداً لا يحصى من الطلبات - من إنشاء أسلحة بيولوجية إلى تعليمات العنف. قبل إطلاق ChatGPT، استعانت OpenAI بفرق حمراء، من بينها Paul Röttger (باحث في التطرف عبر الإنترنت). قاموا

ما أبرز التفاصيل حول كيف يعمل الرفض: ما لا نفهمه؟

يبقى الرفض أحد جوانب النماذج التي لا نفهمها بالمعنى الكلاسيكي. فعندما يواجه النموذج طلباً خطيراً، تضيء «تفعيلات» معينة بين معاملاته، تماماً كما تضيء الخلايا العصبية في الدماغ. وفقاً لدراسة بتمويل من Google قام بها Jannes Elstner (من Apollo Research)، تبدو هذه التفعيلات كـ «مخاريط متعددة الوجوه عالية الأبعاد» (high-dimensional polyhedral cones). أظهر Andy Arditi أنه إذا أُزيلت هذه التفعيلات، يتوقف النموذج عن الرفض. والنقطة الجوهرية هي: حتى بعد العثور على جميع عناصر الرفض، تبقى مكونات غير قابلة للرصد ولا للحصر. نحن نرى الرفض يحدث، لكننا لا نفهم كيف يعمل - وكأن الميكانيكي يقول

ما أبرز التفاصيل حول المصنّفات والتكاليف الحسابية؟

بسبب هذا الطابع غير القابل للتنبؤ به، تحيط الشركات النماذج بعدد كبير من المصنّفات (classifiers) - نماذج أصغر تعمل كفريق علاقات عامة لقائد كثير الكلام. بعضها يحجب الطلبات الخطيرة عند الدخول، وبعضها يُرشّح الاستجابات الضارة عند الخروج. وتُرصّ هذه الطبقات مثل «الجبن السويسري» - والفكرة هي أن تراكم عدد كافٍ من الثغرات فوق بعضها سيُنتج جداراً لا يمكن اختراقه. هذا يتطلب موارد حسابية هائلة. أعلنت Anthropic أن نوعاً واحداً من المصنّفات يضيف 24% إلى تكاليف الحوسبة. انتقلت الشركات مؤخراً إلى أدوات استشعار (probes) أكثر كفاءة - وهي مصنّفات تراقب التفعيلات الداخلية للنموذج، كما يفعل ال

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…