MIT Technology Review: نبالغ في تقدير قدرة الذكاء الاصطناعي على قول «لا»
نشرت MIT Technology Review مقالًا تحليليًا يرى أن الصناعة تعتمد أكثر من اللازم على قدرة الذكاء الاصطناعي على الرفض. ينطلق الكاتب من فكرة قديمة: على الآلة الذكية أن تكون قادرة على قول «لا» كما يفعل الإنسان. وقد قدّم الخيال العلمي عقودًا طويلة تمرد الروبوتات بوصفه تحذيرًا. أما اليوم، فتُقدَّم هذه القدرة نفسها كآلية حماية، ويزداد إلقاء عبء الأمان عليها. • رفض النموذج سلوك متعلَّم، وليس ضمانًا. • كلما اتسع وصول الوكيل (agent) إلى الأدوات، زادت خطورة الاعتماد على «ضميره». • يجب أن تعمل الحماية خارج النموذج أيضًا.
معالج بواسطة الذكاء الاصطناعي من MIT Technology Review؛ بتحرير Hamidun News
منذ عام 1942، حين صاغ إسحاق أسيموف قوانينه الثلاثة للروبوتات، ومنذ عام 1968، حين نطق HAL 9000 عبارة «I'm afraid I can't do that, Dave»، يستقر في الثقافة الشعبية افتراض واحد: الذكاء الحقيقي للآلة يفترض القدرة على الرفض. وكان الخيال العلمي يقدّم هذا الرفض في الغالب بوصفه تهديدًا. أما في المقال الجديد على MIT Technology Review، فيسلك الكاتب الاتجاه المعاكس. فاليوم يُقدَّم تعلّم الذكاء الاصطناعي لقول «لا» على نحو متزايد باعتباره صمام الأمان الرئيسي، وترى هيئة تحرير المجلة أننا نعلّق على هذا الصمام آمالًا أكبر مما ينبغي.
في الجزء المتاح من النص، صيغت الفرضية بحذر، لكن اتجاهها واضح. فالفكرة القائلة إن الذكاء الاصطناعي ينبغي ألا ينفّذ أي أمر يُلقى إليه انتقلت من حبكات التمرد إلى ممارسات التطوير. وأعرض فيما يلي أسباب خطورة هذا الاعتقاد. وهذا تحليلي الخاص المبني على الخصائص المعروفة للنماذج الحديثة، وليس تلخيصًا للمقال بأكمله.
من أين تنشأ الثقة في «لا» الآلية
المنطق بسيط وجذّاب. إذا استطاع النموذج التعرف على الطلب الضار ورفضه، أمكن بناء المنتجات على أنظمة أقوى دون الخوف من إساءة الاستخدام. وتستثمر المختبرات الكبرى في تدريب النماذج على الرفض: مجموعات من القواعد، والتعلّم المعزَّز من تغذية راجعة بشرية، ومصنِّفات منفصلة عند المدخلات والمخرجات. وذهبت بعض الشركات أبعد من ذلك، فمنحت نماذجها حق إنهاء المحادثات السامة تمامًا. وهكذا تتحول «لا» من أثر جانبي إلى وظيفة معلَنة.
لكن المشكلة أن طبيعة هذا الرفض تختلف عن الرفض البشري. فهو لا ينبع من فهم العواقب، ولا تسنده مسؤولية. إنه عادة إحصائية صاغها التدريب، ولا تنتقل جيدًا إلى مواقف لم ترد في التدريب.
أين ينهار الرفض
لدى «لا» عدة نقاط ضعف:
- الطبيعة الاحتمالية. قد يلقى الطلب نفسه بصياغات مختلفة رفضًا في حالة وموافقة في أخرى.
- الاعتماد على السياق. الطلب الضار الذي يُقسَّم إلى خطوات بريئة أو يُغلَّف بلعب أدوار يمرّ في كثير من الأحيان. وهذا الصنف من أساليب الالتفاف (jailbreak) معروف منذ وقت طويل ولم يُغلق تمامًا.
- الإنذارات الكاذبة. النموذج المضبوط على الرفض بوتيرة أعلى يبدأ برفض مهام مشروعة: أسئلة طبية، وأبحاث في الأمن، وقضايا قانونية.
- السيناريوهات الوكيلية (agentic). حين يملك الذكاء الاصطناعي صلاحية الوصول إلى البريد والملفات وواجهات API للدفع والطرفية، لا يتحدد ثمن الخطأ بنص الإجابة، بل بالإجراء الذي نُفِّذ.
- تشتّت المسؤولية. عبارة «كان على النموذج أن يرفض» مريحة كمبرر، لكنها لا تحل شيئًا من الناحية القانونية.
وتزداد أهمية ذلك مع الوكلاء. فروبوت الدردشة الذي وافق بالخطأ ينتج نصًا سيئًا. أما الوكيل الذي وافق بالخطأ فيحذف قاعدة بيانات أو يرسل أموالًا. والاعتماد هنا على «ضمير» النموذج أشبه بإطلاق متدرّب في بيئة الإنتاج بصلاحيات كاملة مع الاتكال على حسّه السليم.
ماذا تفعل الفرق التي تعتمد الذكاء الاصطناعي
ينبغي اعتبار رفض النموذج طبقة واحدة من طبقات الحماية، وليست الأكثر موثوقية. وكل ما عداها يجب أن يعمل بصرف النظر عمّا قرره النموذج.
عمليًا، يعني ذلك ما يلي. تُقيَّد صلاحيات الوكيل على مستوى البنية التحتية: رموز وصول (tokens) في حدودها الدنيا الضرورية، وبيئات معزولة (sandboxes)، وسقوف للمبالغ ولحجم العمليات. وتمرّ الإجراءات التي لا رجعة فيها عبر موافقة بشرية أو عبر قواعد صارمة خارج النموذج. وتُحفظ سجلات للإجراءات يمكن بها إعادة بناء سلسلة القرارات. ويخضع النظام لاختبار منتظم من «الفريق الأحمر»، لا على «الإجابات الخطرة» فقط، بل على تسلسلات الإجراءات الخطرة أيضًا. وينبغي أن تراعي مقاييس الجودة نوعَي الخطأ معًا: الضرر الذي فات النظام، والرفض الزائد.
قدرة الذكاء الاصطناعي على قول «لا» مفيدة، ولا أحد يقترح التخلي عنها. لكن تصميم الأنظمة وكأن هذه «اللا» ستُقال دائمًا في وقتها يعني تكرار خطأ أبطال تلك القصص الخيالية نفسها، حيث كان صمام الأمان يعمل تمامًا حتى أول حالة غير متوقعة.
Delegate Deep Research, Coding & Workflows to an AI Agent
Deploy autonomous multi-step execution with NomadNet Agent (agent.nomadnet.ai) — automated web research, data synthesis, code generation, and complex task orchestration.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.