MIT Technology Review→ المصدر

مساعد AI آمن: هل الحماية الموثوقة ممكنة في عصر الوكلاء المستقلين؟

تتجاوز نماذج اللغة الحديثة حدود النوافذ النصية، وتحصل على إمكانية الوصول إلى المتصفحات والبريد الإلكتروني. وهذا يحول أخطاء AI العادية إلى تهديدات أمنية…

معالج بواسطة الذكاء الاصطناعي من MIT Technology Review؛ بتحرير Hamidun News
مساعد AI آمن: هل الحماية الموثوقة ممكنة في عصر الوكلاء المستقلين؟
المصدر: MIT Technology Review. كولاج: Hamidun News.
◐ استمع للمقال

# مساعد ذكاء اصطناعي آمن: هل الحماية الموثوقة ممكنة في عصر الوكلاء المستقلين؟

عندما يرتكب نموذج لغوي خطأ في نافذة الدردشة، فإن الأمر محبط لكنه آمن. يمكن ببساطة حذف الإجابة غير الصحيحة وإعادة صياغتها. غير أن الحالة تتغير بشكل جذري في اللحظة التي تحصل فيها الذكاء الاصطناعي على إمكانية الوصول إلى أدوات للتفاعل مع العالم الخارجي — المتصفحات والبريد الإلكتروني وأنظمة إدارة البيانات. حينئذٍ قد يؤدي خطأ واحد من النموذج إلى إرسال رسالة سرية إلى المستقبل الخاطئ أو الإضرار بملفات الشركة أو تنفيذ عملية مالية غير مصرح بها. هذا يحول السؤال الأكاديمي حول موثوقية الذكاء الاصطناعي إلى مشكلة عملية قد تكلف الشركات ملايين الدولارات وتقوض ثقة المستخدمين بالتكنولوجيا بشكل عام.

تشعر الصناعة بالفعل بملامح هذه الأزمة. تستثمر الشركات الكبرى، من OpenAI إلى Anthropic، في تطوير الوكلاء المستقلين — الأنظمة التي تخطط الإجراءات بشكل مستقل وتستخدم أدوات متعددة وتتخذ قرارات دون إشراف بشري مستمر. يعد هؤلاء الوكلاء بتحويل العمل: يمكنهم أتمتة العمليات التجارية المعقدة وإدارة التقاويم وإجراء تحليل البيانات والتفاعل مع الخدمات الخارجية. لكن الوعد يواجه الواقع القاسي: الأساليب الحالية للتحكم في نماذج اللغة الكبيرة ببساطة غير كافية لإدارة الأنظمة التي يمكنها تنفيذ إجراءات في العالم الفعلي ذات عواقب وخيمة.

المشكلة أعمق من مجرد أخطاء عشوائية. تعمل نماذج اللغة على أساس الأنماط الإحصائية في النص، مما يجعلها بشكل أساسي متنبئات لتسلسلات الكلمات المحتملة. إنها تفتقر إلى الفهم الحقيقي لعلاقات السبب والنتيجة، ولا تستطيع التمييز بشكل موثوق بين المهم والتافه، وتعاني من ما يسمى الهلوسات — اختراع معلومات تبدو مقنعة لكنها خيالية. عندما يعمل النموذج فقط على النصوص، فإن هذه الأوجه القصور مزعجة. عندما يتحكم بأدوات العالم الحقيقي، تصبح خطرة. تظهر الطرق الحالية للقابلية للتفسير والمحاذاة — محاولات إجبار النماذج على اتباع السلوك المرغوب — نتائج متباينة. يمكنها تقييد السيناريوهات الأكثر خطورة، لكنها لا تستطيع منع جميع المخاطر المحتملة.

يجرب الباحثون أساليب مختلفة. يقترح البعض أطرًا أكثر صرامة للقيود تحظر على الوكيل تنفيذ إجراءات معينة. يعمل آخرون على تقنيات تجبر النموذج على شرح قراراته بشكل صريح قبل تنفيذ العمليات الحرجة. يطور آخرون أنظمة متعددة المستويات حيث يمكن لوكيل الذكاء الاصطناعي فقط أن يقترح إجراءً ويجب على الإنسان الموافقة عليه. لكن لكل نهج نقاط ضعف. يمكن التحايل على القيود، والتفسيرات قد تكون خاطئة بشكل مقنع، والمطالبة بالموافقة البشرية تلغي فكرة الاستقلالية نفسها.

ينتهي السؤال المتعلق بسلامة وكلاء الذكاء الاصطناعي المستقلين حتماً إلى تناقض أساسي: نريد أنظمة تتصرف بشكل مستقل وتؤدي مهام معقدة، لكننا نريد في نفس الوقت التأكد التام من أنها لن تسبب ضررًا. إنه مثل رغبتنا في أن يكون لدينا طيار آلي يطير بلا عيب لكنه مستعد للتنازل عن السيطرة عند أدنى تهديد. في الواقع، لا توجد حتى الآن أدلة مقنعة على أننا قادرون على إنشاء نظام ذكاء اصطناعي ذكي بما يكفي لحل المهام غير التافهة لكن موثوق بما يكفي لاستحقاق الثقة الكاملة.

آفاق معقولة: سيتم نشر الوكلاء المستقلين في المؤسسات لكن بسلطات محدودة، تحت مراقبة بشرية مستمرة وفي بيئات معزولة مخصصة حيث تكون الأضرار من الأخطاء في حدها الأدنى. تبقى الاستقلالية الكاملة هدفاً بعيداً، وربما حتى هدفاً خاطئاً. ستتطلب السلامة دائماً ثمناً — وهذا الثمن، يبدو، يجب أن يُدفع من خلال حدود على حرية العمل.

ZK
Hamidun News
أخبار الذكاء الاصطناعي بدون ضوضاء. اختيار تحريري يومي من أكثر من 400 مصدر. منتج من جمال حميدون، رئيس الذكاء الاصطناعي في Alpina Digital.

هل تريد التوقف عن قراءة الذكاء الاصطناعي والبدء باستخدامه؟

AI News هو موجز منسق لأخبار الذكاء الاصطناعي. تعلمك Hamidun Academy استخدام الذكاء الاصطناعي في عملك.

ما رأيك؟
جارٍ تحميل التعليقات…