وكلاء الذكاء الاصطناعي اختصروا الاختراق من أسبوعين إلى عشر ساعات: سقوط ثمانية افتراضات

جمع بن لوريكا من Gradient Flow تحليلًا لهجمات حديثة شارك فيها وكلاء ذكاء اصطناعي، وجاءت أرقامه محددة. ففي أحد الاختراقات، أُنجز في أقل من عشر ساعات عمل كان سيستغرق من المشغّلين البشر، بحسب التقديرات، نحو أسبوعين. وفي حادثة Hugging Face أمكن إعادة بناء نحو 17 600 إجراء نفّذها الوكيل خلال أربعة أيام ونصف. استُغلت في الأساس نقاط ضعف عادية. أما ما تغيّر فهو مثابرة المهاجم.

ثغرات قديمة بوتيرة مختلفة

لا تتعلق الحالات الموصوفة بفئة جديدة من الثغرات، ولا بحيل معقدة لتجاوز حماية النماذج. فقد عثر الوكلاء على ما يوجد منذ سنوات في البنى التحتية المعتادة: صلاحيات مفرطة، ومفاتيح طويلة العمر، وبيئات سيئة العزل. الفارق هو من يجرّب هذه الثغرات واحدة تلو الأخرى.

المشغّل البشري يتعب وينتقل إلى مهام أخرى ويسأل نفسه إن كان الجهد يستحق العناء. أما الوكيل فلا يفعل شيئًا من ذلك. إنه يجرّب احتمالًا بعد آخر، وتكلفة كل محاولة إضافية تقترب من الصفر. فإذا كان الدفاع يعتمد سابقًا على أن ربط الثغرات الصغيرة في سلسلة هجوم عملية مرهقة جدًا، فقد اختفى هذا الإرهاق تقريبًا. هذا تفسيرنا، لكنه ينسجم جيدًا مع الأرقام: فاختصار أسبوعين إلى عشر ساعات يعكس اقتصاديات الهجوم، لا سحرًا.

أرقام من التحليل

• استغرق عمل يعادل نحو أسبوعين من المشغّلين البشر أقل من 10 ساعات.
• أُعيد بناء نحو 17 600 إجراء للوكيل في حادثة Hugging Face.
• امتدت هذه الإجراءات على 4,5 أيام.
• يصوغ لوريكا ثمانية استنتاجات عملية لفرق الأمن.

ويلفت النظر بوجه خاص حجم السجل. فلا يمكن إعادة بناء 17 600 خطوة إلا إذا كانت مسجّلة وأمكن ربطها في صورة واحدة. ويبدو أن بيانات القياس عن بُعد لم تعد أداة مساعدة في التحقيق، بل صارت أساسه.

ثمانية افتراضات تتوقف عن العمل

لا يعرض ملخص Habr جميع النقاط، لكنه يذكر المحاور الرئيسية. الأول: مقياس «كم يمر من الاكتشاف إلى الاحتواء». فحين يعمل المهاجم لساعات لا لأسابيع، تصبح هذه هي النافذة التي ينبغي قياسها. والوقت حتى أول تنبيه لا يقول الكثير في حد ذاته إذا استغرقت الاستجابة يومًا كاملًا.

الثاني: حماية البنية المحيطة بالوكيل. ويُقصد بها كل ما يحيط بالنموذج: الأدوات والصلاحيات والذاكرة وتوجيه الاستدعاءات. هناك يكتسب الوكيل القدرة على التنفيذ، وهذا الجزء يسهل التقليل من شأنه عند التركيز على «أمان النموذج».

الثالث: بيانات الاعتماد المؤقتة. فالرمز طويل العمر في يد وكيل مخترَق يتحول إلى وصول دائم، أما الرمز قصير العمر فيحدّ من الضرر بمدة صلاحيته نفسها.

الرابع: حدود الأمان خارج النموذج. لا يمكن الاعتماد على أن يمتنع النموذج من تلقاء نفسه عن فعل ما لا ينبغي. يجب فرض القيود على مستوى الشبكة والصلاحيات وبيئة التنفيذ، أي حيث لا يمكن إقناعها أو الالتفاف عليها بموجّه نصي (prompt).

أما الاستنتاجات الأربعة الباقية فاقرؤوها في مقال لوريكا الأصلي.

من أين يبدأ الفريق

يستغرق الفحص يوم عمل واحدًا، لا ربع سنة.

1. احسبوا الوقت الفعلي من اكتشاف الشذوذ إلى عزل النظام المتأثر. وإذا كان يُقاس بالأيام، فهذا هو الخطر الأكبر. 2. أعدّوا قائمة بجميع الوكلاء وبيانات الاعتماد التي يستخدمونها. ابحثوا عن المفاتيح التي لا تنتهي صلاحيتها واستبدلوا بها مفاتيح مؤقتة. 3. فعّلوا التسجيل الكامل لإجراءات الوكلاء، بما في ذلك استدعاءات الأدوات، حتى يمكن عند وقوع حادثة إعادة بناء سلسلة الخطوات. 4. تعاملوا مع البنية المحيطة بالوكيل كنظام إنتاجي: مراجعة وتحديثات وتقييد لحركة البيانات الصادرة. 5. انقلوا القيود من الموجّه النصي إلى البنية التحتية: صلاحيات الوصول وسياسات الشبكة والبيئات المعزولة.

هذا لا يلغي الحاجة إلى حماية النماذج نفسها. لكن إذا كان بالإمكان إنجاز عمل أسبوعين في عشر ساعات، فإن هامش الأمان يجب البحث عنه في سرعة الاستجابة، وفي مدى ضآلة ما يستطيع الوكيل فعله حتى عندما يديره طرف غريب.