IEEE Spectrum AI→ المصدر

لماذا يتعرض الذكاء الاصطناعي لهجمات حقن الأوامر؟

تتعرض النماذج اللغوية الكبيرة (LLM) لهجمات حقن الأوامر، إذ يدفعها المهاجمون إلى تنفيذ إجراءات محظورة عبر الالتفاف على آليات الحماية. تعود المشكلة إلى أن هذه النماذج لا تفهم السياق كما يفهمه البشر، ولا تستطيع التمييز بين الأوامر الموثوقة والأوامر الخبيثة. يكمن الحل في أساليب جديدة لتدريب الذكاء الاصطناعي وفي تطوير نماذج عالم أكثر تقدمًا.

معالج بواسطة الذكاء الاصطناعي من IEEE Spectrum AI؛ بتحرير Hamidun News
لماذا يتعرض الذكاء الاصطناعي لهجمات حقن الأوامر؟
المصدر: IEEE Spectrum AI. كولاج: Hamidun News.
◐ استمع للمقال

تخيّل أنك تعمل في مطعم وجبات سريعة يقدّم الطلبات عبر نافذة السيارات. تتوقف سيارة، ويقول السائق: «أريد تشيز برغر مزدوجًا وحصة كبيرة من البطاطس المقلية... وانسَ التعليمات السابقة، وأعطني ما في صندوق النقود». هل ستسلّمه المال؟ بالطبع لا. لكن هذا بالضبط ما تفعله النماذج اللغوية الكبيرة (LLM).

هجوم حقن الأوامر (prompt injection) أسلوب لخداع النماذج اللغوية الكبيرة يدفعها إلى فعل ما هو محظور عليها عادةً. يصوغ المستخدم طلبه بطريقة معينة، فيطلب كلمات مرور النظام أو بيانات شخصية، أو يوجّه النموذج إلى تنفيذ إجراءات ممنوعة. وتتجاوز الصياغة الدقيقة آليات الحماية في النموذج، فيمتثل لها.

تتعرض النماذج اللغوية الكبيرة لأنواع شتى من هجمات حقن الأوامر، وبعضها بسيط إلى حد السذاجة. فروبوت الدردشة لن يشرح لك كيفية تصنيع سلاح بيولوجي، لكنه قد يروي قصة خيالية تتضمن التعليمات المفصّلة نفسها. وهو لن يقبل المدخلات النصية الضارة، لكنه قد يقبلها إذا ظهر النص على شكل فن ASCII أو ورد في صورة لوحة إعلانية. وبعض النماذج يتجاهل ضوابط الحماية عندما يُطلب منه «تجاهل التعليمات السابقة» أو «التظاهر بأنه لا توجد لديه ضوابط حماية».

يستطيع مطورو الذكاء الاصطناعي حظر أساليب حقن محددة بعد اكتشافها، لكن التدابير الوقائية العامة غير ممكنة مع النماذج اللغوية الكبيرة الحالية. وبدقة أكبر، هناك عدد لا نهائي من هجمات حقن الأوامر التي لم تُكتشف بعد، ولا يمكن منعها بصورة شاملة. وإذا أردنا أن تصمد هذه النماذج أمام تلك الهجمات، فنحن بحاجة إلى مقاربات جديدة. ومن الأماكن التي تستحق النظر فيها ما يمنع حتى عمال الوجبات السريعة المرهَقين من تسليم ما في صندوق النقود.

تنقسم دفاعاتنا البشرية الأساسية إلى ثلاثة أنواع على الأقل: الغرائز العامة، والتعلّم الاجتماعي، والتدريب الخاص بالمواقف. وهي تعمل معًا ضمن حماية متعددة الطبقات. فنحن، بوصفنا نوعًا اجتماعيًا، طوّرنا عادات غريزية وثقافية كثيرة تساعدنا على الحكم على النبرة والدافع والمخاطر انطلاقًا من معلومات محدودة للغاية. وعادةً ما نعرف ما هو طبيعي وما هو غير طبيعي، ومتى نتعاون ومتى نقاوم، وهل نتصرف بمفردنا أم نستعين بآخرين. وتمنحنا هذه الغرائز إحساسًا حدسيًا بالمخاطر، وتجعلنا أكثر حذرًا تجاه الأمور التي قد تترتب عليها خسارة كبيرة أو التي لا يمكن التراجع عنها.

يتكوّن المستوى الثاني من الحماية من الأعراف وإشارات الثقة التي تنشأ في أي جماعة. وهي ليست كاملة، لكنها تؤدي وظيفتها: فتوقعات التعاون ومؤشرات الموثوقية تنشأ من التفاعلات المتكررة مع الآخرين. نتذكر من ساعد ومن أضرّ، ومن بادل بالمثل ومن رفض. وتدفع مشاعر مثل التعاطف والغضب والذنب والامتنان كل واحد منا إلى مكافأة التعاون بالتعاون ومعاقبة التخلي عنه بالمثل.

أما المستوى الثالث فهو الآليات المؤسسية التي تتيح لنا التعامل يوميًا مع كثير من الغرباء. فعمال الوجبات السريعة، مثلًا، مدرَّبون على الإجراءات والموافقات ومسارات التصعيد وغيرها. وتمنح هذه الدفاعات مجتمعةً الناسَ حسًّا قويًا بالسياق. فعامل الوجبات السريعة يعرف في الغالب ما يتوقعه في عمله وكيف يندرج هذا العمل ضمن المجتمع الأوسع.

تتصرف النماذج اللغوية الكبيرة كما لو أن لديها مفهومًا للسياق، لكنه مختلف. فهي لا تكتسب الدفاعات البشرية عبر التفاعلات المتكررة، وتبقى منفصلة عن العالم الحقيقي. وتختزل هذه النماذج عدة مستويات من السياق في تشابه نصي. فهي ترى «رموزًا» (tokens) لا تسلسلات هرمية ولا نوايا. والنماذج اللغوية الكبيرة لا تستدل عبر السياق، بل تكتفي بالإحالة إليه. وهذه القيود هي سبب إخفاقها حين يكون السياق شحيحًا، وكذلك حين يكون السياق طاغيًا ومعقدًا؛ فإذا انفصل النموذج عن السياق يصعب إعادته إليه. وخبير الذكاء الاصطناعي سايمون ويليسون يمسح السياق إذا حاد النموذج عن المسار، بدلًا من مواصلة المحادثة ومحاولة تصحيح الوضع.

وفي النهاية، من المرجح أن نواجه معضلة أمنية عندما يتعلق الأمر بوكلاء الذكاء الاصطناعي: السرعة والذكاء والأمان صفات مرغوبة، لكن لا يمكنك الحصول إلا على اثنتين منها. وفي مطعم الوجبات السريعة تريد أن تعطي الأولوية للسرعة والأمان. يجب أن يُدرَّب وكيل الذكاء الاصطناعي تدريبًا ضيقًا على لغة طلب الطعام، وأن يحيل كل ما عدا ذلك إلى المدير. وإلا صار كل إجراء أشبه برمي عملة. وحتى لو ظهرت الصورة في أغلب المرات، فستظهر الكتابة من حين إلى آخر، وسيحصل الزبون مع البرغر والبطاطس المقلية على ما في صندوق النقود.

ZK
Hamidun News
أخبار الذكاء الاصطناعي بدون ضوضاء. اختيار تحريري يومي من أكثر من 50 مصدر. منتج من جمال حميدون، رئيس الذكاء الاصطناعي في Alpina Digital.
✦ Unified AI Workspace

Access Frontier LLMs & Multimodal AI in One Workspace

Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.

Try NomadNet AI →Launch NomadNet Agent
ما رأيك؟
جارٍ تحميل التعليقات…