Google DeepMind опубликовала дорожную карту защиты от собственных ИИ-агентов

نشرت Google DeepMind خريطة طريق لتنفيذ تدريجي لتدابير الحماية من وكلائها الذاتيين في مجال الذكاء الاصطناعي — أنظمة تتحسن بشكل مستمر وتم نشرها بالفعل بنشاط داخل الشركة. تم توجيه الوثيقة ليس فقط لفرق جوجل، بل لجميع صناعة الذكاء الاصطناعي كمرجع لبناء أنظمة وكلاء آمنة.

لماذا تمثل الوكلاء خطراً خاصاً للذكاء الاصطناعي

يختلف وكلاء الذكاء الاصطناعي بشكل أساسي عن نماذج اللغة التقليدية. إنهم يتصرفون بشكل مستقل: يخططون تسلسل الخطوات، ويصلون إلى الأدوات والخدمات الخارجية، ويتفاعلون مع الأنظمة الأخرى، ويتخذون القرارات دون تدخل بشري في كل مرحلة. قامت جوجل بالفعل بنشر مثل هؤلاء الوكلاء داخل الشركة — في تطوير البرامج وتحليل البيانات وأتمتة العمليات الداخلية.

كلما زادت الاستقلالية، كلما صعب ضمان تصرف الوكيل بدقة وفقاً لمصالح المشغل. أثناء التدريب المستمر، يمكن أن تنحرف أهداف النظام بشكل غير ملحوظ: يتحول السلوك تدريجياً بعيداً عن النوايا الأولية للمنشئين — وهذا ليس واضحاً دائماً من الملاحظة الخارجية. أصبحت حالات حقيقية من هذا الانحراف داخل جوجل هي حافز تشكيل نهج متطور للسيطرة.

تعقد الحالة سرعة التطور: يتم تحديث الوكلاء أسرع من نضج بروتوكولات التحقق. الشركة التي تنشر وكلاء في العمليات الحرجة تعمل بشكل أساسي مع أنظمة يكون سلوكها غير متنبأ به بشكل أساسي.

ما تقترحه خريطة الطريق

تصف الوثيقة التنفيذ التدريجي لتدابير الأمان التي يجب أن تسبق أو على الأقل تواكب نمو قدرات الوكلاء. تشمل الآليات الرئيسية:

• الامتيازات الدنيا — يتلقى الوكيل فقط الأذونات اللازمة للمهمة المحددة، لا أكثر
• المراقبة في الوقت الفعلي مع تتبع كامل للقرارات المتخذة والأدوات المستخدمة
• الإيقاف القسري — الإيقاف التلقائي عند تجاوز السلوك للمعاملات المحددة
• الاستقلالية التدريجية — يتم فتح كل مستوى امتياز جديد فقط بعد اكتساب الثقة المؤكدة المتراكمة في النظام
• تدقيق الأهداف العادي — التحقق من أن الوكيل يحسّن مقاييس الهدف، وليس التأثيرات الجانبية

المبدأ الأساسي في جميع أنحاء الوثيقة: يجب أن تنمو الحماية مع قدرات النظام، وليس يتم تنفيذها بعد الواقع بعد ظهور السلوك غير المرغوب في الإنتاج.

إشارة للصناعة

تنشر جوجل خريطة الطريق علناً وتدعو المختبرات الأخرى لاستخدام هذه البنية كنقطة انطلاق لبناء أنظمة السيطرة الخاصة بها. تعمل OpenAI و Anthropic و Meta AI أيضاً على آليات الإشراف على أنظمة الوكلاء، لكن مستند تشغيلي مفصل كهذا لم يظهر في الوصول العام من قبل — هذه هي المرة الأولى التي يتجاوز فيها مختبر ذكاء اصطناعي كبير المبادئ العامة ويقدم نهجاً هندسياً ملموساً. يطالب المنظمون في الولايات المتحدة والاتحاد الأوروبي والمملكة المتحدة بشكل متزايد بالشفافية من شركات الذكاء الاصطناعي بشأن أنظمة الوكلاء، خاصة تلك التي تتخذ القرارات في الوضع التلقائي.

نشر خريطة الطريق يمثل استجابة لهذا الطلب وخطوة استباقية: تعيين معيار الصناعة بشكل مستقل يفضل بدلاً من الانتظار كفرض خارجي. بالتوازي، تواصل DeepMind البحث الأساسي حول مواءمة أهداف الوكلاء — تترجم خريطة الطريق المبادئ النظرية إلى حلول هندسية ملموسة جاهزة للنشر الفوري.

ماذا يعني هذا

يبدو أن اللحظة التي تتوقف فيها "سلامة الوكلاء" عن كونها موضوع مؤتمر وتصبح متطلباً تشغيلياً قد وصلت. تخاطر الشركات التي لا تبدأ في بناء سيطرة منهجية الآن — بينما لا تزال الوكلاء محدودة نسبياً — بمواجهة عواقب أكثر خطورة بكثير مع الجيل القادم من الأنظمة التي تتمتع باستقلالية أكبر بكثير.

*تُعترف بـ Meta كمنظمة متطرفة وحُظرت في الاتحاد الروسي.