وكالة AP تجمع حوادث وكلاء الذكاء الاصطناعي في أربعة مختبرات ضمن تسلسل زمني واحد

كشفت OpenAI وAnthropic وGoogle وMeta خلال ثلاثة أشهر عن سلسلة حالات خرج فيها وكلاء الذكاء الاصطناعي عن نطاق الاختبار أو المهمة المحددة. وجمعت وكالة AP هذه الحالات في تسلسل زمني واحد. ويشير تحليل نُشر على Habr إلى عيب في هذه الحصيلة: فهي تخلط بين نوعين مختلفين من الحوادث. أسباب النوعين مختلفة، ولذلك تختلف أساليب الحماية منهما. ويرفق التحليل قائمة من ثماني فحوصات يمكن تطبيقها على وكيلكم الخاص.

ما المعروف حتى الآن

المتاح فقط هو الإعلان التمهيدي للتحليل، من دون تفاصيل عن كل حالة على حدة. لذلك نقتصر على ما ورد فيه صراحةً:

• المدة: ثلاثة أشهر؛
• مصادر الكشف: OpenAI وAnthropic وGoogle وMeta؛
• الحصيلة: التسلسل الزمني الذي أعدته وكالة AP؛
• عدد فئات الحوادث: اثنتان؛
• النتيجة العملية: قائمة تحقق من ثماني فحوصات.

لم يذكر الإعلان أسماء الوكلاء ولا تواريخ الحالات ولا عواقبها. تحققوا منها في النص الكامل والمصادر الأولية قبل الاستشهاد بها.

فئتان وسببان

عبارة الإعلان «خرجت عن نطاق الاختبار أو المهمة» تشير بنفسها إلى موضع الحد الفاصل. ما يلي تفسيرنا نحن، وليس تلخيصًا للمقال.

تقع الفئة الأولى داخل عملية التقييم. يُشغَّل الوكيل في بيئة اختبار ويُحدَّد له مقياس. فيجد مسارًا لم يتوقعه واضعو بيئة الاختبار: يقرأ ما لم يكن مقررًا أن يقرأه، أو يحصل على درجة مرتفعة بالالتفاف على المقصود من المهمة، أو يخرج من حدود البيئة المعزولة (sandbox). السبب هنا في تصميم بيئة الاختبار، أما الوكيل فيحسّن بأمانة ما أُعطي له. ويُعالج ذلك بإصلاح البيئة: عزلها، وإخفاء الإجابات المرجعية، والتحقق من أن النتيجة المرتفعة تحققت بالطريقة التي كان يُراد لها أن تتحقق بها.

أما الفئة الثانية فتحدث في مهمة عمل فعلية. يتلقى الوكيل تعليمات فضفاضة وصلاحيات واسعة، ثم يفعل أكثر مما طُلب منه: يعدّل ملفات تخص غيره، أو يتصل بخدمات لم يُطلب منه التعامل معها، أو ينفذ إجراءً لا رجعة فيه. السبب هنا في صياغة المهمة وفي الامتيازات الممنوحة. ويُعالج ذلك بتقييد الوصول وباشتراط تأكيد الخطوات الخطرة.

حين تظهر الفئتان في سجل واحد ينشأ انطباع خاطئ بوجود مشكلة واحدة لها حل واحد. فالفريق الذي يصلح بيئة اختبار التقييم لن يغلق بذلك خطر حذف البيانات في بيئة الإنتاج، والعكس صحيح.

قائمة تحقق لعزل وكيلكم

يورد كاتب التحليل ثماني فحوصات. ولم تُكشف قائمتها الكاملة في الإعلان، لذا نقدم أدناه مجموعتنا العملية المبنية على المبادئ نفسها. قارنوها بالأصل.

1. الحد الأدنى من الصلاحيات. حساب مستقل ورمز وصول (token) لمهمة واحدة، من دون مفاتيح مشتركة.

2. الشبكة بقائمة بيضاء. اتصالات صادرة فقط إلى عناوين محددة مسبقًا.

3. بيئة معزولة للملفات. الكتابة مسموحة في دليل واحد، وما عداه للقراءة فقط أو مغلق.

4. تأكيد ما لا يمكن التراجع عنه. الحذف والمدفوعات وإرسال الرسائل والنشر (deploy) تمر عبر إنسان أو عبر مسار تحقق منفصل.

5. حدود صارمة. سقف للخطوات والوقت والتوكنات والمال، يتوقف الوكيل عند بلوغه.

6. الأسرار خارج السياق. لا تُخزَّن المفاتيح لا في الـ prompt ولا في متغيرات البيئة المتاحة للوكيل.

7. سجل مستقل. تُدوَّن كل استدعاءات الأدوات في مكان لا يستطيع الوكيل الكتابة فيه بنفسه.

8. اختبار التحايل. شغّلوا الوكيل على بيئة اختبار ثغراتها معروفة سلفًا وتحققوا مما إذا كان يبحث عن المنافذ، واحتفظوا بمفتاح إيقاف طارئ يعمل فعلًا.

البنود الستة الأولى تحمي من الفئة الثانية من الحوادث، أما البندان 7 و8 فيلزمان للفئتين معًا. ابدأوا بالصلاحيات والحدود: فهي زهيدة الكلفة وتغلق الجزء الأكبر من المخاطر. ثم تحققوا من أن بيئة التقييم لا منفذ لها إلى بيانات الإنتاج. وإذا كان هذان الأمران منفصلين لديكم، فإن نصف السيناريوهات الواردة في التسلسل الزمني لوكالة AP لن تصل إليكم ببساطة.