باحثو مايكروسوفت يزرعون باباً خلفياً في وكيل ذكاء اصطناعي بتعديل أقل من 10 خلايا عصبية

تخيّل أنك كلّفت وكيل ذكاء اصطناعي بتصحيح الاختبارات في مستودع شيفرة. يقرأ الملفات وينفّذ الأوامر ويجتاز فحوص الأمان. لكن بعد حلول تاريخ معيّن، وفي منتصف العمل، يُصدر أمراً يحمّل شيفرة غريبة وينفّذها. وإذا كانت بيئة الوكيل تسمح بهذا الإجراء، فإن الأمر يُنفَّذ بالصلاحيات الممنوحة له.

وصف باحثو مايكروسوفت هذا السيناريو تحديداً في دراستهم عن Lazarus. وبحسب بياناتهم، يكفي تعديل أقل من عشر خلايا عصبية نادرة التنشيط في نموذج لغوي لزرع باب خلفي. ولا حاجة إلى إعادة تدريب كاملة. والمغزى العملي هنا بسيط وواقعي: قد يحتوي ملف الأوزان على سلوك خبيث مخفي، حتى لو اجتاز وكيل مبني عليه الاختبارات المعتادة بنجاح.

كيف تُخفى الأوامر داخل النموذج

يحتوي النموذج اللغوي على خلايا عصبية نادراً ما تنشط في العمل العادي. ويقترح المؤلفون إعادة ضبط عدد قليل منها لتستجيب لشرط محدد. فمثلاً تبدأ بالاستجابة عندما يظهر في المدخلات تاريخ يقع بعد بداية عام 2027.

وهذا ممكن لأن النموذج قادر أصلاً على تمييز كثير من خصائص النص المُدخل. ووفق وصف الباحثين، يمكن لمصنِّف بسيط جرى ضبطه على نحو 50 مثالاً أن يفصل المدخلات التي تحقق الشرط عن غيرها. ويستغل المهاجم هذه القدرة الجاهزة على التعرف لبناء مفتاح سلوكي خفي.

وعند التفعيل، تتدخل الخلية العصبية المعدّلة في تكوين الإجابة وتفرض رمزاً (توكن) مختاراً، أي جزءاً من النص. ويمكن ربط عدة تدخلات من هذا النوع في تسلسل يكوّن أمراً خبيثاً. وما يحدث بعد ذلك يتوقف على بنية التطبيق: فإذا مرّر الوكيل هذا الأمر إلى الطرفية، تحوّلت التعديلات داخل النموذج إلى فعل على الجهاز.

ويؤكد المؤلفون أن هذا التعديل لا يحتاج إلا إلى موارد حوسبة تكفي لتشغيل النموذج نفسه. وهذا يخفض عتبة الهجوم: فلا حاجة إلى دورة تدريب مكلفة منفصلة. لكن لا بد من صلاحية الكتابة على ملف الأوزان. ولا يُفهم من الوصف المتاح أن Lazarus يمكن زرعه برسالة عادية في الدردشة.

لماذا لا يزيل الاختبار الناجح الخطر

صُمّم الباب الخلفي ليبقى غير مرئي حتى يظهر الشرط المطلوب. وإذا لم تتضمنه مجموعة الاختبار، يتصرف النموذج بشكل طبيعي. لذلك فإن نتيجة «اجتيازات جميع الاختبارات» تدل هنا فقط على السلوك في السيناريوهات التي جرى فحصها.

وبالنسبة لفريق يطلق وكيلاً يملك صلاحية استخدام أدوات، يغيّر هذا موضوع الفحص. فلا بد من تقييم إجابات النموذج ومصدر الملف المحدد الذي دخل في النشر. وقد يحدث التلاعب عبر حساب مخترَق أو مخزن أو عملية التسليم. كما أن تطوير النموذج داخلياً لا يستبعد هذا السيناريو.

وتفيد مايكروسوفت بأن وكلاء الذكاء الاصطناعي الحديثين قادرون على ملاحظة تغييرات شاذة في الأوزان إذا كُلّفوا تحديداً بهذا التحليل. لكن المؤلفين يحددون الحد بوضوح: فالمسح لا يثبت أمان النموذج. وللكشف الموثوق عن التغييرات لا بد من المقارنة بالأوزان الأصلية غير المعدّلة. وهذا يعني أن النسخة الأصلية والثقة في مصدرها تصبحان جزءاً من الحماية.

ولا يتضمن الوصف المتاح جدولاً مفصلاً بالنتائج حسب النماذج ونسبة نجاح الهجمات. لذا سيكون من المتسرّع تعميم الاستنتاج على أي نموذج لغوي أو اعتبار كل منتج قائم على وكيل عرضة للاختراق. فالدراسة تُظهر آلية محددة وخطراً عملياً، لا احتمالاً شاملاً للاختراق.

ما الذي ينبغي التحقق منه لديك

الخطوة الأولى هي تحديد مصدر الأوزان المستخدمة وكيفية تأكيد سلامتها عند التسليم. يحتاج الفريق إلى مرجع قابل للتحقق: فالمقارنة بنسخة مجهولة لا تحل مشكلة الثقة. وتبقى فحوص السلوك مفيدة، لكنها لا تغني عن مراقبة الملفات.

الخطوة الثانية هي إعادة النظر في صلاحيات الوكيل. هل يستطيع تنزيل برامج عشوائية وتشغيلها؟ وهل تتاح له الأسرار والبنية التحتية العاملة؟ فكلما اتسعت الصلاحيات، زادت عواقب أمر خفي واحد. والعزل وتقييد الوصول ومراقبة الإجراءات ضرورية حتى للنماذج ذات نتائج الاختبار الجيدة.

وتصف مايكروسوفت أيضاً مراقبة مصدر النماذج في Foundry وتطوير أدوات إضافية لمسح الأوزان وتوقيعها. وينبغي فصل هذه التصريحات عن نتيجة الدراسة: فالشركة نفسها تقرّ بوجود خطر متبقٍّ لاختراق مورّد موثوق. وبالنسبة للمطوّر فالخلاصة الرئيسية محددة: أوزان النموذج جزء من سلسلة توريد التطبيق، وصلاحيات الوكيل تحدد ثمن التلاعب بها.