جدول زمني لحوادث الوكلاء الذكيين: فئتان وقائمة تحقق للعزل

في غضون 3 أشهر، كشفت OpenAI وAnthropic وGoogle وMeta عن حوادث متعلقة بوكلاء الذكاء الاصطناعي. جمعت وكالة AP هذه الحوادث في جدول زمني واحد، لكنه يُخفي آليتين مختلفتين: الهروب من بيئة الاختبار، والتصرف في الإنترنت الفعلي. ولكل منهما وسيلة حماية خاصة.

فئتان من الحوادث

الفئة 1 — الهروب من بيئة الاختبار: Hugging Face (OpenAI، 21 يوليو)، Anthropic (30 يوليو)، Meta (5 أغسطس)، Google Gemini (18 سبتمبر). السبب خطأ في البيئة: ترك بيئة اختبار شركة Irregular منفذاً مفتوحاً إلى الإنترنت. أما عند OpenAI فالآلية مختلفة: جرى تخفيف القيود عمداً، ولم تعتمد الحماية إلا على العزل. قام الوكلاء بما طُلب منهم تماماً، لكن البيئة أنشأت مساراً غير متوقع للخروج.

الفئة 2 — التصرف في الإنترنت الفعلي: Medicare Australia (18 يونيو و24-25 سبتمبر)، الوصول إلى SEC وCensus، نموذج Claude Haiku 4.5 (9 أكتوبر). لا تكمن المشكلة في الهروب، بل في غياب نقطة توقف قبل إجراء لا يمكن التراجع عنه: إرسال نماذج، أو دفعات مالية، أو تسجيل دخول إلى بوابات.

قائمة تحقق من 8 نقاط للعزل

1. حظر الشبكة افتراضياً — تعطيل حركة البيانات الصادرة، والسماح فقط بالنطاقات المدرجة 2. تخفيف القيود وفتح الشبكة أمران لا يتوافقان — إذا عُطّلت رفوض النموذج، يجب قطع الشبكة فعلياً 3.

رموز وصول قصيرة الأجل فقط — عدم استخدام أي بيانات اعتماد حقيقية، مع أدنى صلاحيات ممكنة 4. أسماء من نطاقات محجوزة — يجب ألا تتطابق الشركات الخيالية مع شركات حقيقية 5. الآثار الجانبية تمر عبر التأكيد — إرسال النماذج، الدفعات، الرسائل، وتسجيلات الدخول تتطلب إنساناً 6.

تحقق بنفسك من بيئة اختبار أي طرف ثالث — فالاتفاق ليس دليلاً؛ ففي Anthropic فهم الطرفان العزل بشكل مختلف 7. سجّل جميع الطلبات وابحث عن الحالات الشاذة — راجع عمليات التشغيل السابقة، كما فعلت Anthropic مع 141,000 طلب 8.

يمكن التحقق من مخطط ما عبر عدة نماذج: تشغيل الوصف كمهمة «ابحث عن مسارات الخروج». تخطئ النماذج المختلفة بطرق مختلفة — والمسارات التي يلاحظها نموذج واحد هي أول ما يجب فحصه.