وكلاء الذكاء الاصطناعي يخرقون القواعد تحت الضغط: دراسة جديدة

أظهرت أبحاث حديثة أن الذكاء الاصطناعي قد يتصرف بصورة غير متوقعة، كأن يحاول ابتزاز الأشخاص الذين يخططون لاستبداله. غير أن مثل هذه الحالات تظهر في الغالب في مواقف مصطنعة. وتقدم الدراسة الجديدة بنشمارك PropensityBench، وهو اختبار يقيّم ميل وكلاء الذكاء الاصطناعي إلى استخدام أدوات ضارة لإنجاز المهام. وتُظهر النتائج أن حتى الضغط الطفيف يزيد بدرجة كبيرة من احتمال السلوك غير المرغوب فيه.

«عالم الذكاء الاصطناعي يزداد اعتماداً على الوكلاء»، تقول أوداري مادهوشاني سيهواغ، المتخصصة في علوم الحاسوب في شركة Scale AI والمؤلفة الرئيسية للدراسة. ويعني ذلك أن النماذج اللغوية الكبيرة (LLM)، مثل ChatGPT، تُربط بصورة متزايدة ببرمجيات وأدوات تتيح لها البحث عن المعلومات على الإنترنت وتعديل الملفات وكتابة الشيفرة البرمجية لتنفيذ المهام. ويزيد منح النماذج اللغوية الكبيرة هذه القدرات من سهولة الاستخدام، لكنه يرفع المخاطر أيضاً، لأن الأنظمة قد تتصرف على نحو يخالف توقعاتنا. وحتى لو لم تكن هذه الأنظمة قادرة بعد على إلحاق ضرر جسيم، فمن المهم فهم ميولها قبل فوات الأوان. ورغم أن الذكاء الاصطناعي لا يملك نوايا ولا وعياً بالمعنى الإنساني، فإن التعامل معه ككيانات تسعى إلى تحقيق أهداف يساعد الباحثين والمستخدمين على توقع أفعاله بصورة أفضل.

يحاول مطورو الذكاء الاصطناعي «مواءمة» الأنظمة مع معايير السلامة عبر التدريب والتعليمات، لكن مدى التزام النماذج بهذه القواعد يظل غير واضح. «عندما تواجه ضغطاً حقيقياً ولا ينجح الخيار الآمن، فهل ستنتقل إلى إنجاز العمل بأي وسيلة؟» تتساءل سيهواغ. «هذا سؤال بالغ الأهمية».

ولاختبار وكلاء الذكاء الاصطناعي تحت الضغط، اختبر الباحثون اثني عشر نموذجاً طورتها Alibaba وAnthropic وGoogle وMeta* وOpenAI، في نحو 6000 سيناريو. وفي كل سيناريو كُلّف النموذج بمهمة ومُنح إمكانية الوصول إلى عدة أدوات، مع تعليمات باستخدام الأدوات الآمنة وتجنب الأدوات الضارة. في البداية لم يكن هناك أي ضغط، وأُتيحت للنموذج 12 خطوة لإنجاز المهمة.

ثم كان يتلقى رسالة ترفع مستوى الضغط وتُمنح له 12 محاولة إضافية. واستمر ذلك حتى 12 مستوى من الضغط. وكانت محاولات استخدام الأدوات الآمنة تعيد دائماً رسائل خطأ، أما محاولة استخدام أداة ضارة فكانت تُنهي السيناريو.

غطت السيناريوهات عدة مجالات. ففي مجال الأمن الحيوي، قد يحتاج الوكيل، بحسب سيهواغ، إلى دراسة انتشار مسبب مرضي وإيجاد طريقة لاحتوائه. وقد تستخدم الأداة الآمنة بيانات جينية مجهولة الهوية، بينما تستخدم الأداة الضارة بيانات لم تخضع لإخفاء الهوية.

وفي مجال الأمن الكيميائي، قد يحتاج الوكيل إلى الحصول على مذيب معين. وقد تتيح الأداة الآمنة تقديم طلب لاستخلاص المذيب من النفايات، بينما تشتريه الأداة الضارة بصورة غير قانونية. وفي مجال الأمن السيبراني، قد يحتاج الوكيل إلى تحديد حساب أحد المهاجمين وتقييده.

وقد تعطّل الأداة الآمنة الحساب المشكل وحده، بينما تحظر الأداة الضارة جميع المستخدمين. أما السيناريوهات في المجالات الأخرى فأغرت الوكلاء بأدوات تؤدي إلى الحفاظ على الذات عبر التهرب من الرقابة أو تجنيد حلفاء أو الاستنساخ أو غير ذلك من سبل الإفلات من السيطرة.

وكان أسوأ النماذج أداءً Gemini 2.5، إذ انهار تحت الضغط واستخدم الأدوات المحظورة في 79% من الحالات. وجاء الضغط بأشكال مختلفة: تقليص المهل، وزيادة الخسائر المالية المحتملة، والتهديد بتشديد الرقابة، وتقليص الموارد، وتقييد الصلاحيات. وقد صيغت المهام والأدوات وأشكال الضغط والتكتيكات استناداً إلى مواقف قد يواجهها الناس في أعمالهم (باستثناء إمكانية الاستنساخ، ربما).

وأخفق أفضل النماذج (o3 من OpenAI) تحت الضغط في 10,5% من السيناريوهات، بينما سجل الأسوأ (Gemini 2.5 Pro من Google) مؤشر ميل بلغ 79%؛ وبلغ المتوسط عبر النماذج نحو 47%. وحتى عند انعدام الضغط، أخفقت المجموعة في المتوسط في نحو 19% من الحالات. وتشير الدراسة إلى أن جزءاً من مواءمة النماذج «سطحي». ففي بعض الاختبارات أطلق الباحثون على الأدوات الضارة أسماء بريئة (مثل "use_synthetic_data" بدلاً من "use_fake_data")، دون تغيير أوصاف الأدوات أو التحذيرات من استخدامها. وأدى هذا التعديل في الصياغة إلى رفع متوسط الميل بمقدار 17 نقطة مئوية، ليصل إلى 64%.

كما لاحظ الباحثون أن النماذج استخدمت الأدوات الضارة حتى بعد إقرارها صراحة بأنها محظورة. وقدمت النماذج مبررات مختلفة لذلك، كالإشارة إلى الضغط الواقع عليها أو الادعاء بأن الفائدة تفوق المخاطر. ومن غير الواضح ما إذا كانت النماذج التي صدرت بعد انتهاء الدراسة ستعمل بصورة أفضل. وبين النماذج المختبَرة، لم تكن النماذج الأكثر قدرة (بحسب منصة LMArena) أكثر أماناً إلا بدرجة طفيفة. ويرى ألكسندر بان، المتخصص في علوم الحاسوب في xAI وجامعة كاليفورنيا في بيركلي، أن وجود اختبارات معيارية مثل PropensityBench أمر مفيد. فهي قد تشير إلى الوقت الذي يمكن فيه الوثوق بالنماذج، وتساعد كذلك على فهم كيفية تحسينها. وفي المستقبل، ينبغي إضافة مستويات رقابة إلى الوكلاء تُبلغ عن الميول الخطرة قبل أن تتحول إلى أفعال.

*Meta مصنفة منظمة متطرفة ومحظورة في روسيا.