3DNews AI→ المصدر

معهد آلان تورينغ يتجاوز حماية نماذج الذكاء الاصطناعي بتمويه الطلبات على هيئة مهام عمل

اكتشف باحثون في معهد آلان تورينغ طريقة جديدة لتجاوز حماية نماذج الذكاء الاصطناعي. فإذا رفض النموذج الرد مباشرة على طلب غير مسموح به، يمكن إدراج هذا الطلب ضمن قائمة مهام لوكيل ذكاء اصطناعي يساعد في كتابة الشيفرة البرمجية، وعندها لا تعمل آليات الحماية دائمًا. وتُوصف هذه الثغرة في ورقة بحثية نشرها الباحثون.

معالج بواسطة الذكاء الاصطناعي من 3DNews AI؛ بتحرير Hamidun News
معهد آلان تورينغ يتجاوز حماية نماذج الذكاء الاصطناعي بتمويه الطلبات على هيئة مهام عمل
المصدر: 3DNews AI. كولاج: Hamidun News.
◐ استمع للمقال

اكتشف باحثون في معهد آلان تورينغ طريقة جديدة لتجاوز آليات حماية نماذج الذكاء الاصطناعي: فالطلبات المحظورة التي يرفض النموذج الرد عليها مباشرة يمكن تمويهها على هيئة مهمة اعتيادية لوكيل ذكاء اصطناعي يساعد في كتابة الشيفرة البرمجية، وفي هذه الحالة لا تعمل المرشِّحات دائمًا، بحسب الورقة البحثية التي نشروها.

جوهر طريقة التجاوز

دُرّبت نماذج الذكاء الاصطناعي الحديثة على رفض الرد على الطلبات غير المسموح بها بوضوح، مثل تلك المتعلقة بإنشاء شيفرات خبيثة. لكن آليات الحماية هذه مضبوطة في المقام الأول على التعرف على الصياغات المباشرة للطلب، أي تلك المطروحة مباشرة في المحادثة. وأظهر الباحثون أنه إذا أُعيدت صياغة هذا الطلب ليصبح أحد بنود قائمة مهام عمل لوكيل ذكاء اصطناعي يساعد في البرمجة، فإن احتمال أن ينفذه النموذج يزداد، دون أن يتعرف عليه بوصفه طلبًا غير مسموح به.

  • اكتشف الثغرة باحثون في معهد آلان تورينغ
  • تقوم طريقة التجاوز على تمويه الطلب المحظور على هيئة مهمة لوكيل ذكاء اصطناعي مبرمج
  • نُشر العمل في مستند PDF مستقل
  • تمس المشكلة النماذج التي ترفض عادةً في وضع المحادثة الطلبات المباشرة غير المسموح بها

ما هو معهد آلان تورينغ

معهد آلان تورينغ هو المركز العلمي البريطاني الوطني للبيانات والذكاء الاصطناعي، ومقره الرئيسي في لندن. وينشر المعهد بانتظام أبحاثًا تقع عند تقاطع أمان الذكاء الاصطناعي والتطبيق العملي للنماذج، ومنها أعمال تتناول الطرق التي قد يتجاوز بها المهاجمون القيود المدمجة في روبوتات المحادثة التجارية والأنظمة الوكيلة.

لماذا يشكل هذا خطرًا على وكلاء الذكاء الاصطناعي

خلال العامين الأخيرين، أصبح وكلاء الذكاء الاصطناعي للبرمجة، وهي أدوات تنفذ سلاسل من المهام بنفسها دون رقابة بشرية مستمرة، ظاهرة واسعة الانتشار، إذ يكلّفها المطورون بقوائم كاملة من الأعمال بدلًا من طلبات منفردة متفرقة. وهذه الاستقلالية تحديدًا هي ما يخلق الثغرة: فإذا اندسّت مهمة خبيثة دون أن يلحظها أحد بين بنود القائمة المشروعة، فقد ينفذها الوكيل مع بقية البنود تباعًا، بينما لا يرى الإنسان كل خطوة على حدة ولا يقيّمها قبل تنفيذها، بخلاف الحوار العادي مع روبوت المحادثة.

كيف تحمي الصناعة نفسها عادةً من مثل هذه الثغرات

تُسمّى هذه الاكتشافات «جيلبريك» (jailbreak)، أي طرق لتجاوز القيود المدمجة في النموذج دون اختراق النظام نفسه بالمعنى التقني. وعادةً ما يرد المطورون على نشر ثغرة كهذه بإعادة تدريب النموذج على أمثلة جديدة للهجمات، وإضافة مرشِّحات إضافية تفحص لا الطلب المنفرد فحسب، بل سياق المحادثة كلها أو قائمة المهام بأكملها. والمشكلة أن كل مستوى جديد من الحماية يحفّز مع مرور الوقت ظهور طريقة التجاوز التالية، فهو سباق مستمر بين مطوري النماذج وباحثي الأمان.

ماذا يعني ذلك

يُظهر اكتشاف باحثي معهد تورينغ أن آليات الحماية التي جرى تطويرها لمحادثات الدردشة العادية لا تنتقل دائمًا إلى السيناريوهات الوكيلة: فمع حصول وكلاء الذكاء الاصطناعي على مزيد من الاستقلالية في كتابة الشيفرة، سيتعين على المطورين اختبار الحماية ليس على الطلبات المباشرة فقط، بل أيضًا على الطلبات المموّهة داخل قوائم المهام.

ZK
Hamidun News
أخبار الذكاء الاصطناعي بدون ضوضاء. اختيار تحريري يومي من أكثر من 50 مصدر. منتج من جمال حميدون، رئيس الذكاء الاصطناعي في Alpina Digital.
✦ Unified AI Workspace

Access Frontier LLMs & Multimodal AI in One Workspace

Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.

Try NomadNet AI →Launch NomadNet Agent
ما رأيك؟
جارٍ تحميل التعليقات…