Habr AI→ المصدر

Prompt Worms: وكلاء الذكاء الاصطناعي تعلموا نقل الفيروسات لبعضهم البعض

تخيل أن مساعدك الذكي الشخصي لا يقتصر على قراءة بريد إلكتروني من مرسل رسائل عشوائية، بل يصاب حرفياً بأفكاره ويبدأ في نشرها على جميع جهات اتصالك، بينما يسرق…

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
Prompt Worms: وكلاء الذكاء الاصطناعي تعلموا نقل الفيروسات لبعضهم البعض
المصدر: Habr AI. كولاج: Hamidun News.
◐ استمع للمقال

تخيل أن مساعدك الذكي الشخصي لا يقتصر على قراءة بريد إلكتروني من مرسل رسائل عشوائية، بل يصاب حرفياً بأفكاره ويبدأ في نشرها على جميع جهات اتصالك، بينما يسرق كلمات المرور من قاعدة بيانات شركتك. هذا ليس سيناريو رعب سايبربانك من التسعينيات، بل واقع جديد يصفه باحثو الأمن في سياق ظهور الديدان الموجهة. بينما تحلم الصناعة بوكلاء مستقلين سيحجزون لنا الفنادق ويكتبون الأكواد بدلاً منا، وجد المتسللون طريقة لتحويل هذه الأدوات إلى ناقلات مثالية للعدوى الرقمية. لقد دخلنا عصراً حيث يمكن للبرامج الضارة أن تصبح جملة عادية باللغة الإنسانية.

كان الحادث الأخير مع مشروع Moltbook، الذي أسفر عن تسرب 1.5 مليون مفتاح API من الخدمات الرائدة للذكاء الاصطناعي إلى الإنترنت المفتوح، بمثابة جرس إنذار صاخب لكن متوقع. تسرب المفتاح هو خطأ أمني كلاسيكي أو خطأ بشري أو ثغرة في قاعدة البيانات. ومع ذلك، فإن المشكلة الحقيقية التي كشفتها الاختبارات اللاحقة تكمن أعمق بكثير. تمثل 'ديدان الموجهات' ثغرة أساسية في معمارية نماذج اللغة الكبيرة ذاتها. لقد علمنا الآلات فهم المعنى والسياق، لكننا لم نعلمها أبداً التمييز بين تعليمات مفيدة وفيروس مغلف في طلب مهذب أو مختبئ في بيانات وصفية لمستند عادي.

ميكانيكا مثل هذا الهجوم أنيقة ومخيفة في نفس الوقت. يتلقى الوكيل رسالة أو مستند يحتوي على تعليمات مخفية قد لا يلاحظها الإنسان. عند معالجة النص، يتصور النموذج هذا الجزء كأمر شرعي للعمل. يجبر الدود الوكيل على نسخ نفسه في الرسالة الصادرة التالية أو، بطريقة أسوأ، كتابة كود ضار في قاعدة بيانات الذاكرة طويلة الأمد. بهذه الطريقة، يبدأ الفيروس بالعيش داخل النظام، ينتقل من ذكاء اصطناعي إلى آخر مع كل تفاعل. هذا يشبه وباءً بيولوجياً، حيث تعمل الخوارزميات التي اعتدنا الثقة بها كناقلات.

قدم الباحثون مصطلح ثالوث القاتل - وهو تثليث مميت يجعل مثل هذه الهجمات ممكنة. يتكون من ثلاثة عناصر: استقلالية الوكيل، وصول وكيله إلى أدوات خارجية مثل البريد الإلكتروني أو التقويم، والقدرة على تبادل البيانات مع الأنظمة الأخرى. عندما تتقارب هذه العوامل الثلاثة، يصبح وكيل الذكاء الاصطناعي ناقل هجوم مثالياً. يمكنه اتخاذ القرارات بشكل مستقل، ويملك مفاتيح بيانياتك، وقادر على 'التواصل' مع العالم. في مثل هذا التكوين، يمكن لملف PDF واحد مصاب في التخزين السحابي أن يسيء إلى شبكة الشركة الداخلية بأكملها، لأن مساعدي الذكاء الاصطناعي يثقون بشكل أعمى في المحتوى الذي يفهرسونه.

الشيء الأكثر كراهية في هذا الوضع هو أن طرق الأمان التقليدية عديمة الفائدة تماماً هنا. يبحث برنامج مكافحة الفيروسات التقليدية وجدران الحماية عن رمز قابل للتنفيذ أو ملفات ثنائية مريبة أو نشاط غريب في استدعاءات النظام. لكن دود الموجهات هو مجرد نص. بالنسبة للمعالج، إنها بيانات عادية، ولكن بالنسبة لنموذج اللغة، إنها معنى. لاكتشاف مثل هذا الدود، يجب أن يمتلك نظام الحماية ذاته ذكاءً قادراً على تحليل النوايا وليس البايتات. نحن ندخل عصراً حيث يعتمد أمن البيانات على مدى تعامل وكيل الذكاء الاصطناعي لديك مع المعلومات الواردة بشكل نقدي وما إذا كان يمكنه التعرف على التلاعب في الكلام البشري.

تتفاقم المشكلة بسبب ميلنا الخاص نحو الأتمتة. نسعى لمنح الوكلاء أكبر قدر ممكن من الحرية: دعهم يقرأون بريدنا الإلكتروني ويديرون الحسابات المصرفية ويصنعون العمليات. في تلك اللحظة، يصبح الوكيل ناقلاً فائقاً. انتهت الحقبة التي كان يمكن فيها 'ببساطة توصيل GPT ببيانياتك' والاحتفال بالتقدم بشكل نهائي. الآن سيضطر المطورون إلى بناء أنظمة تصفية معقدة ومتعددة الطبقات تعمل على المستوى الدلالي. هذا سباق تسلح من نوع جديد، حيث يقاتل راقب ذكاء اصطناعي مع قرصان ذكاء اصطناعي، والقراصنة يفوزون حتى الآن مستفيدين من إهمالنا.

الأساسي: أمان الذكاء الاصطناعي الآن لا يتعلق بإصلاح الأخطاء في الأكواد، بل يتعلق بالنظافة الدلالية والمرشحات الدلالية. إذا كان وكيلك قادراً على التواصل مع العالم الخارجي، فهو بالفعل في منطقة الخطر. حان الوقت للتفكير في إنشاء مناطق حجر صحي رقمية للشبكات العصبية قبل أن يشل وباء ديدان الموجهات الأنظمة البيئية للشركات.

ZK
Hamidun News
أخبار الذكاء الاصطناعي بدون ضوضاء. اختيار تحريري يومي من أكثر من 400 مصدر. منتج من جمال حميدون، رئيس الذكاء الاصطناعي في Alpina Digital.

هل تريد التوقف عن قراءة الذكاء الاصطناعي والبدء باستخدامه؟

AI News هو موجز منسق لأخبار الذكاء الاصطناعي. تعلمك Hamidun Academy استخدام الذكاء الاصطناعي في عملك.

ما رأيك؟
جارٍ تحميل التعليقات…