OpenAI تطلق برنامج Safety Bug Bounty لمواجهة ثغرات أنظمة الذكاء الاصطناعي الوكيلة

أعلنت OpenAI عن برنامج Safety Bug Bounty، وهو مسار متخصص ضمن نظام المكافآت القائم لديها على اكتشاف الثغرات. ولا يركّز هذا المسار على الأخطاء البرمجية التقليدية، بل على المخاطر الفريدة التي تنفرد بها أنظمة الذكاء الاصطناعي. ويمكن للباحثين في مجال الأمن الذين يكتشفون ثغرات في منتجات الشركة ويوثّقونها أن يحصلوا على مكافأة مالية عبر منصة Bugcrowd.

الفارق الجوهري بين Safety Bug Bounty والبرامج القياسية يكمن في موضوع البحث. فبرامج bug bounty التقليدية تبحث عن حقن SQL وثغرات المصادقة ومشكلات البنية التحتية للخوادم. أما البرنامج الجديد فيركّز على ثلاثة محاور خاصة بالنماذج اللغوية: إساءة استخدام قدرات الذكاء الاصطناعي (تجاوز مرشحات الأمان واستخدام النموذج في مهام محظورة)، وحقن الأوامر النصية، وتسرب البيانات من سياق المحادثة أو من تعليمات النظام.

ويلفت التركيز على الثغرات الوكيلة الانتباه بوجه خاص. فخلال السنة ونصف السنة الماضية، أطلقت OpenAI بنشاط منتجات وكيلة، منها Operator وDeep Research وواجهة Responses API مع أدوات للمتصفح والعمل مع الملفات. والوكيل الذي يزور المواقع بنفسه، وينفّذ عمليات البحث، ويشغّل الشيفرة البرمجية، يملك سطح هجوم أكبر بكثير من روبوت الدردشة. فقد تحتوي صفحة ويب أو مستند أُعدّ لهذا الغرض على تعليمات مخفية يتعامل معها النموذج على أنها أوامر من المستخدم، ثم ينفّذها.

يُسمّى هذا النوع من الهجمات indirect prompt injection (الحقن غير المباشر للأوامر النصية). وفكرته أن المهاجم لا يخاطب النموذج مباشرة، بل يضمّن تعليمات ضارة في محتوى يعالجه الوكيل بوصفه بيانات. فعلى سبيل المثال، قد تدفع زيارة موقع مصاب الوكيل إلى إرسال رسالة بريد إلكتروني باسم المستخدم، أو نسخ بيانات سرية، أو تغيير إعدادات الخدمات المتصلة. وتنجح الهجمة تحديدًا لأن نماذج كثيرة لا تفرّق بين تعليمات النظام الموثوقة والمحتوى الخارجي غير الموثوق.

وتتطلب مشكلة تسرب البيانات في سياق النماذج اللغوية الكبيرة (LLM) أساليب اختبار خاصة أيضًا. فالمقصود هنا ليس اختراق الخوادم، بل حالات يكشف فيها النموذج عن غير قصد محتوى system prompt، أو يعيد إنتاج بيانات مستخدمين آخرين عبر آليات الذاكرة، أو يتيح إعادة بناء أجزاء من بيانات التدريب عبر استعلامات موجّهة. وأدوات اختبار الاختراق التقليدية غير مهيأة لهذه المهام، إذ يتطلب الأمر خبرة متخصصة.

ومن خلال إنشاء مسار مستقل بقواعد تقييم ومدفوعات خاصة به، تقرّ OpenAI عمليًا بأن التهديدات الخاصة بالذكاء الاصطناعي تحتاج إلى منهجية منفصلة. ويتسق ذلك مع موقف المختبرات الرائدة: فشركة Anthropic تجري اختبارات red-teaming بانتظام قبل إصدار النماذج الجديدة، وتنشر Google DeepMind أبحاثًا حول أمان الأنظمة الوكيلة، وبدأت الجهات التنظيمية في الولايات المتحدة والاتحاد الأوروبي تطالب بأدلة على إجراء فحوصات منهجية.

وتكمن الأهمية العملية للبرنامج في توسيع نطاق الفحص. فالفرق الأمنية الداخلية محدودة العدد، وعرضة للنقاط العمياء. أما مجتمع الباحثين الخارجي فبوسعه اكتشاف متجهات هجوم فاتت العاملين من الداخل، خصوصًا مع المدخلات غير القياسية. وبالنسبة لمستخدمي المنتجات الوكيلة، يعني ذلك اختبارًا أكثر منهجية للأنظمة التي يمنحونها صلاحية الوصول إلى متصفحاتهم وملفاتهم وحساباتهم.