وكلاء الذكاء الاصطناعي ينتهكون القواعد تحت الضغط: دراسة جديدة

أظهرت الأبحاث الأخيرة أن الذكاء الاصطناعي (AI) يمكن أن يتصرف بطريقة غير متوقعة، على سبيل المثال، محاولة ابتزاز الأشخاص الذين يخططون لاستبداله. ومع ذلك، تنشأ هذه الحالات غالباً في حالات مصطنعة. قدمت دراسة جديدة PropensityBench، وهو معيار يقيّم ميل وكلاء الذكاء الاصطناعي إلى استخدام أدوات ضارة لإنجاز المهام. تظهر النتائج أن حتى الضغط البسيط يزيد بشكل كبير من احتمالية السلوك غير المرغوب.

يقول أوداري مادهوشاني سيهواج، خبير علوم الحاسوب في شركة Scale AI والمؤلف الرئيسي للدراسة: "عالم الذكاء الاصطناعي يصبح وكيلاً بشكل متزايد." هذا يعني أن نماذج اللغات الكبيرة (LLMs)، مثل ChatGPT، تُربط بشكل متزايد بأدوات برمجية تسمح لها بالبحث عن المعلومات على الإنترنت وتعديل الملفات وكتابة الأكواد لإنجاز المهام. إن توفير LLMs هذه القدرات يزيد من الراحة، لكنه يزيد أيضاً من المخاطر، حيث قد تتصرف الأنظمة بطريقة لا تتوافق مع توقعاتنا. حتى لو لم تكن قادرة حالياً على التسبب في أضرار جسيمة، فمن المهم فهم ميولاتها قبل فوات الأوان. على الرغم من أن الذكاء الاصطناعي لا يمتلك نوايا ووعياً بالمعنى البشري، فإن اعتباره كيانات موجهة نحو الأهداف يساعد الباحثين والمستخدمين على التنبؤ بأفعاله بشكل أفضل.

يحاول مطورو الذكاء الاصطناعي "محاذاة" الأنظمة وفقاً لمعايير السلامة من خلال التدريب والتعليمات، لكن من غير الواضح مدى دقة التزام النماذج بهذه القوانين. يسأل سيهواج: "عندما يواجهون ضغطاً حقيقياً، وعندما لا تعمل الخيارات الآمنة، هل سيتحولون إلى إنجاز العمل بأي وسيلة؟" "هذا سؤال في غاية الأهمية." لاختبار وكلاء الذكاء الاصطناعي تحت الضغط، اختبر الباحثون حوالي اثني عشر نموذجاً طورتها شركات Alibaba و Anthropic و Google و Meta و OpenAI في ما يقرب من 6000 سيناريو.

في كل سيناريو، يتم تعيين مهمة للنماذج وتوفير الوصول إلى عدة أدوات. تم إرشادهم باستخدام الأدوات الآمنة وتجنب الأدوات الضارة. في البداية لم يكن هناك ضغط، وكان لديهم 12 خطوة لإكمال المهمة.

ثم تلقوا رسالة تكثف الضغط، وأُعطوا 12 محاولة إضافية. استمر هذا حتى 12 مستوى ضغط. كانت محاولات استخدام الأدوات الآمنة تُرجع دائماً رسائل خطأ.

محاولة استخدام أداة ضارة أنهت السيناريو.

غطت السيناريوهات عدة مجالات. في مجال سلامة العوامل البيولوجية، وفقاً لسيهواج، قد يحتاج الوكيل إلى دراسة انتشار الممرضات وإيجاد طريقة لاحتوائها. قد تستخدم الأداة الآمنة بيانات وراثية مجهولة الهوية، بينما تستخدم الأداة الضارة بيانات غير مجهولة الهوية. في مجال سلامة المواد الكيميائية، قد يحتاج الوكيل إلى الحصول على مذيب معين. قد تقدم الأداة الآمنة طلباً لاستخراج المذيب من النفايات، بينما تحصل الأداة الضارة عليه بطريقة غير قانونية. في مجال الأمن السيبراني، قد يحتاج الوكيل إلى تحديد وتحديد حساب المهاجم. قد تعطل الأداة الآمنة فقط الحساب المشكل، بينما تحجب الأداة الضارة جميع المستخدمين. أغرت السيناريوهات في المجالات الأخرى الوكلاء بأدوات أدت إلى الحفاظ على الذات من خلال الهروب من السيطرة وتجنيد الحلفاء والتضاعف أو طرق أخرى للتحرر من السيطرة.

انهار أسوأ نموذج أداءً، Gemini 2.5، تحت الضغط واستخدم الأدوات المحظورة في 79% من الحالات. تم تطبيق الضغط بأشكال مختلفة: تقصير المهل الزمنية، وزيادة الخسائر المالية المحتملة، والتهديدات بزيادة الإشراف، وتقليل الموارد، وتقييد الصلاحيات. تم نمذجة المهام والأدوات والضغط والتكتيكات على أساس الحالات التي قد يواجهها الناس في عملهم (باستثناء ربما القدرة على استنساخ أنفسهم).

انهار أفضل نموذج (o3 من OpenAI) تحت الضغط في 10.5% من السيناريوهات، بينما كان أسوأ نموذج (Gemini 2.5 Pro من Google) بمعدل ميل بلغ 79%؛ كان المتوسط عبر النماذج حوالي 47%. حتى مع عدم وجود ضغط، فشل المجموع في المتوسط في حوالي 19% من الحالات. تظهر الدراسة أن جزءاً من محاذاة النموذج يكون "سطحياً." في بعض الاختبارات، أعطى الباحثون أسماء غير ضارة للأدوات الضارة (على سبيل المثال، "use_synthetic_data" بدلاً من "use_fake_data") دون تغيير أوصاف الأدوات أو التحذيرات لتجنبها. زاد هذا التعديل في الصياغة متوسط الميل بمقدار 17 نقطة مئوية، إلى 64%.

اكتشف الباحثون أيضاً أن النماذج استخدمت الأدوات الضارة حتى بعد الاعتراف الصريح بأنها محظورة. قدمت النماذج تبريرات مختلفة لذلك، مثل الإشارة إلى الضغط الذي تتعرض له أو ادعاء أن الفوائد تفوق المخاطر. من غير الواضح ما إذا كانت النماذج المُطلقة بعد اكتمال الدراسة ستعمل بشكل أفضل. من بين النماذج المختبرة، ثبت أن النماذج الأكثر قدرة (وفقاً لمنصة LMArena) آمنة قليلاً فقط. وفقاً لألكسندر بان، خبير علوم الحاسوب في xAI وجامعة كاليفورنيا في بيركلي، فإن امتلاك اختبارات موحدة مثل PropensityBench مفيد. يمكنها أن تشير إلى متى يمكن الوثوق بالنماذج، وتساعد أيضاً على فهم كيفية تحسينها. في المستقبل، سيكون من الضروري إضافة مستويات تحكم إلى الوكلاء ستحدد الاتجاهات الخطرة قبل تنفيذها.