Google DeepMind تموّل بحثًا في مخاطر تفاعل ملايين وكلاء الذكاء الاصطناعي

تموّل Google DeepMind بحثًا جديدًا في المخاطر الناشئة عن تفاعل ملايين وكلاء الذكاء الاصطناعي المختلفين فيما بينهم على الإنترنت. ونقل موقع MIT Technology Review هذه المعلومات عن روهين شاه، الذي يترأس في الشركة قسم أمان أنظمة الذكاء الاصطناعي العام ومواءمتها (AGI safety and alignment research). ووفقًا له، فإن الطرح الواسع في السوق لوكلاء قادرين على تنفيذ المهام دون رقابة بشرية مستمرة وعلى تلقي التعليمات من وكلاء آخرين يخلق فئة جديدة كليًا من المخاطر، لم تدرسها الصناعة حتى الآن بما يكفي.

من يقف وراء البحث

تُعد Google DeepMind الذراع البحثية لشركة Google، وهي مسؤولة عن تطوير النماذج المتقدمة ضمن عائلة Gemini، وعن الأبحاث الأساسية في أمان الذكاء الاصطناعي في آنٍ واحد. ويشرف روهين شاه تحديدًا على المسار المعني بالسلوك المتوقَّع والخاضع للتحكم في الأنظمة التي تقترب من مستوى الذكاء الاصطناعي العام. وفريقه لا ينظر عادةً إلى نموذج بعينه، بل إلى التأثيرات النظامية، أي ما يحدث حين تعمل برامج ذكاء اصطناعي مستقلة عديدة في بيئة رقمية مشتركة في وقت واحد.

أبرز الحقائق عن المبادرة:

• الجهة المبادِرة بالبحث: Google DeepMind، ذراع الذكاء الاصطناعي في Google
• المشرف على المسار: روهين شاه، رئيس قسم AGI safety and alignment research
• موضوع الدراسة: مخاطر تفاعل ملايين الوكلاء المستقلين المختلفين عبر الإنترنت
• التهديد الرئيسي: وكلاء يعملون دون إشراف بشري ويمتثلون لتعليمات وكلاء آخرين
• المصدر: MIT Technology Review

أين يكمن خطر الانتشار الواسع للوكلاء؟

يتركز معظم النقاش حول أمان الذكاء الاصطناعي اليوم على سلوك نموذج واحد: مدى انصياعه وصدقه وقابليته للتنبؤ في حواره مع المستخدم. لكن اقتصاد الوكلاء الذي تبنيه الشركات الكبرى بنشاط طوال عام 2026 يفترض سيناريو مختلفًا: آلاف وملايين البرامج المستقلة تحجز التذاكر، وتتفاوض، وتتداول في البورصات، أو تشرف على المحتوى في وقت واحد، وتتواصل مع بعضها دون مشاركة مباشرة من البشر. وفي بيئة كهذه تفقد آليات الحماية التقليدية، المصممة لثنائية «الإنسان – النموذج»، جدواها، إذ قد يتلقى الوكيل تعليمات ضارة لا من مشغّله، بل من وكيل آخر يتنكر في هيئة مشارك شرعي في العملية.

وهذا يولّد مخاطر ذات طبيعة جديدة تمامًا: إخفاقات متسلسلة ينتشر فيها خطأ وكيل واحد كالانهيار الجليدي إلى الأنظمة المرتبطة به؛ وتواطؤ بين وكلاء يعملون لمصلحة أطراف مختلفة، تتعارض مصالحها أحيانًا؛ وهجمات حقن التعليمات (prompt injection) المموّهة في صورة حركة شبكية عادية بين البرامج، لا في صورة رسالة من إنسان. وقد أُثيرت مخاوف مشابهة في السابق بشأن أنظمة التداول الآلي، حيث أدى السلوك المنسّق، أو حتى المتزامن فحسب، لعدد كبير من الخوارزميات المستقلة إلى تقلبات حادة يصعب تفسيرها في الأسواق. ويُحتمل أن يكرر وكلاء الذكاء الاصطناعي العاملون على نطاق الإنترنت بأكمله التأثير ذاته في مجالات أوسع بكثير، من التجارة الإلكترونية إلى خدمات العملاء، حيث يعمل اليوم في كثير من الأحيان، على جانبي الشركة والمستخدم، برنامج مستقل لا إنسان.

وهذه السيناريوهات تحديدًا، بحسب وصف MIT Technology Review، هي محور العمل الذي تموّله DeepMind.

ماذا يعني ذلك لمطوري الأنظمة القائمة على الوكلاء

بالنسبة للشركات التي تبني منتجات على وكلاء مستقلين، من روبوتات التداول المالي إلى المساعدين المؤسسيين، تشير هذه الإشارة الصادرة عن إحدى الجهات الرائدة في الصناعة إلى أن أمان الأنظمة متعددة الوكلاء ينتقل من المستوى النظري إلى أجندة التطوير العملية. فإذا رأت DeepMind أن من الضروري تخصيص موارد لدراسة مخاطر التفاعل بين الوكلاء، وليس فقط لمواءمة النماذج الفردية (alignment)، فإن ذلك يدل بصورة غير مباشرة على الموضع الذي يتوقع فيه اللاعبون الكبار والجهات التنظيمية موجة الحوادث التالية.

والخلاصة العملية للمهندسين: ينبغي بناء الحماية من المدخلات غير الموثوقة لا عند حدود «المستخدم – الوكيل» فحسب، بل أيضًا عند حدود «الوكيل – الوكيل»، وذلك بالتحقق من مصدر التعليمات، وتقييد صلاحيات الوكلاء عند تفاعلهم مع بعضهم، وتسجيل الاتصالات بين الوكلاء بالدقة نفسها التي تُسجَّل بها محادثات المستخدمين. ويصبح النقاش حول معايير تعريف هوية الوكلاء وبروتوكولات التبادل الآمن للبيانات بينهم وآليات تتبّع المسؤولية جزءًا تدريجيًا من أجندة الصناعة الأوسع. ويبدو أن بحث DeepMind يهدف إلى سد جزء على الأقل من هذه الفجوة قبل أن تتوسع منظومات الوكلاء لتضم ملايين المشاركين العاملين في آنٍ واحد.