OpenAI تطلق Safety Bug Bounty لاستهداف الثغرات في أنظمة AI الوكيلة

أعلنت OpenAI عن برنامج Safety Bug Bounty — مسار متخصص ضمن نظام المكافآت القائم على الثغرات الأمنية، موجه ليس نحو الأخطاء البرمجية الكلاسيكية بل نحو المخاطر الفريدة لأنظمة الذكاء الاصطناعي. يمكن لباحثي الأمان الذين يكتشفون وتوثيق الثغرات في منتجات الشركة الحصول على مكافآت مالية من خلال منصة Bugcrowd. يتمثل الفرق الأساسي لبرنامج Safety Bug Bounty عن برامج البحث عن الأخطاء التقليدية في موضوع البحث.

تبحث حملات البحث عن الأخطاء التقليدية عن حقن SQL والثغرات في المصادقة أو مشاكل البنية التحتية للخادم. يركز البرنامج الجديد على ثلاثة متجهات محددة لنماذج اللغة: إساءة استخدام قدرات الذكاء الاصطناعي (تجاوز مرشحات الأمان واستخدام النموذج للمهام المحظورة)، وحقن المحفزات، وتسرب البيانات من سياق المحادثة أو التعليمات النظامية. يجذب التركيز على ثغرات الوكيل اهتماماً خاصاً.

على مدى الثمانية عشر شهراً الماضية، قامت OpenAI بنشر المنتجات الوكيلة بنشاط — Operator و Deep Research و Responses API مع أدوات للتصفح وعمليات الملفات. للوكيل الذي يزور المواقع بشكل مستقل وينفذ عمليات البحث وينفذ الأكواد سطح هجوم أساسياً أكبر من روبوت محادثة. قد تحتوي صفحة ويب أو مستند مُعد خصيصاً على تعليمات مخفية سيفهمها النموذج كأوامر من المستخدم — وسينفذها.

تُسمى هذه الفئة من الهجمات بحقن المحفزات غير المباشر. الجوهر: المهاجم لا يتواصل مع النموذج مباشرة، بل يُدرج تعليمات ضارة في المحتوى الذي يعالجه الوكيل كبيانات. على سبيل المثال، قد يؤدي زيارة موقع مخترق إلى جعل الوكيل يُرسل بريداً باسم المستخدم أو ينسخ بيانات سرية أو يعدّل إعدادات الخدمات المتصلة.

يعمل الهجوم بالضبط لأن العديد من النماذج لا تفرق بين التعليمات النظامية الموثوقة والمحتوى الخارجي غير الموثوق. تتطلب مشكلة تسرب البيانات في سياق LLM أيضاً طرق اختبار محددة. لا يتعلق الأمر باختراق الخوادم، بل بالحالات التي يفصح فيها النموذج دون قصد عن محتوى المحفز النظامي أو ينسخ بيانات المستخدمين الآخرين من خلال آليات الذاكرة أو يسمح بإعادة بناء أجزاء من مجموعة البيانات التدريبية من خلال استعلامات موجهة.

أدوات اختبار الاختراق التقليدية غير مناسبة لمثل هذه المهام — تُحتاج خبرة متخصصة. من خلال إنشاء مسار منفصل برسوم تقييم وسداد خاصة به، تعترف OpenAI فعلياً بأن التهديدات الخاصة بالذكاء الاصطناعي تتطلب منهجية منفصلة. وهذا يتوافق مع موقف المختبرات الرائدة: تُجري Anthropic red-teaming بانتظام قبل إصدار نماذج جديدة، وتُنشر Google DeepMind أبحاثاً حول أمان أنظمة الوكلاء، وبدأ المنظمون في الولايات المتحدة والاتحاد الأوروبي يطلبون إثباتاً للاختبارات المنهجية.

تكمن الأهمية العملية للبرنامج في التوسع. فرق الأمان الداخلية محدودة في العدد وعرضة للنقاط العمياء. المجتمع الخارجي للباحثين قادر على اكتشاف متجهات الهجوم التي فقدها الدواخل، خاصة مع المدخلات غير القياسية.

بالنسبة لمستخدمي منتجات الوكلاء، يعني هذا اختباراً أكثر منهجية للأنظمة التي يمنحونها الوصول إلى متصفحاتهم وملفاتهم وحساباتهم.