AudioHijack: как скрытые звуки заставляют AI выполнять вредоносные команды
Учёные обнаружили критическую уязвимость голосовых AI. Новая техника AudioHijack встраивает в аудиофайлы скрытые команды, неслышные для человека. AI-модели их в
أنظمة المساعدات الصوتية وأنظمة الذكاء الاصطناعي تخترق حياتنا بشكل أعمق — من السماعات الذكية والهواتف الذكية إلى روبوتات المحادثة للشركات وأنظمة خدمة العملاء. لا يمكن لهذه الأنظمة فقط التعرف على الكلام، بل يمكنها أيضاً إنشاء الردود وتدوين الاجتماعات والاتصال بالخدمات الخارجية. لكن بحثاً جديداً كشف عن ثغرة حرجة: الأصوات المخفية، التي تماماً لا تُسمع بالأذن البشرية، يمكن أن تُجبر هذه الأنظمة على تنفيذ أوامر ضارة.
تقنية AudioHijack
طور باحثون من جامعة Zhejiang طريقة هجوم جديدة تُسمى AudioHijack. فكرتها بسيطة بشكل مذهل: إدراج تعليمات مخفية في ملف صوتي عادي لن تسمعه الأذن البشرية، لكن نموذج الذكاء الاصطناعي سيعترف بها وينفذها. سيقدم العلماء نتائج تجاربهم في المؤتمر القادم IEEE Symposium on Security and Privacy.
عندما تم إدراج إشارات صوتية معدة خصيصاً في الملفات الصوتية، بدأت نماذج الذكاء الاصطناعي في تنفيذ إجراءات خطيرة: البحث عن معلومات حساسة على الإنترنت، وتنزيل الملفات من الخوادم المراقبة، وإرسال رسائل بريد إلكترونية تحتوي على بيانات شخصية. اختبر الباحثون 13 نموذجاً رائداً، بما في ذلك الخدمات التجارية من Microsoft و Mistral. النتائج صادمة: الهجوم يعمل في 79-96% من الحالات.
يتم إنشاء الإشارة الصوتية في نصف ساعة ويمكن استخدامها بشكل متكرر ضد نموذج واحد، بغض النظر عن تعليمات المستخدم.
كيفية عمل الهجوم
تستند التقنية إلى مفهوم الصوت الخصومي — ملفات صوتية معدلة خصيصاً لخداع التعلم الآلي. لكن تمييز AudioHijack كبير: فهو يستهدف النماذج التوليدية التي لا يمكنها فقط تحليل الصوت، بل أيضاً اتخاذ القرارات والتفاعل مع الأنظمة الأخرى. حدد الباحثون خللاً حرجاً في بنية نماذج اللغة الصوتية الكبيرة (LALM). نظراً لأن هذه النماذج تستقبل التعليمات بصيغة صوتية، فمن السهل إدراج أوامر ضارة في الملفات الصوتية. الفرق الرئيسي عن الهجمات السابقة: لا يحتاج المهاجم للسيطرة على المستخدم ولا على تعليماته الأصلية — فقط الملف الصوتي نفسه. من السهل تصور سيناريوهات هجوم واقعية:
- إدراج أوامر مخفية في الموسيقى أو الفيديو الذي يرسله المستخدم لتحليل الذكاء الاصطناعي
- صوت ضار في مكالمة Zoom يتم تحميله لاحقاً في خدمة النسخ الآلي
- حقن في محادثة صوتية حية مع مساعد الذكاء الاصطناعي في الوقت الفعلي
الدفاع غير فعال عملياً
اختبر الباحثون عدة طرق دفاعية. لم يساعد توفير النموذج بأمثلة على التعليمات الضارة سوى بنسبة 7%. طلب من الذكاء الاصطناعي التحقق مما إذا كان ردها يتطابق مع التعليمات الأصلية للمستخدم اعترض فقط على 28% من الهجمات.
"هذه الدفاعات الموجهة لا تعمل لأنه من الصعب جداً على النماذج التمييز بين النية العادية للمستخدم وهجومنا"، يقول
Meng Chen.
الطريقة الوحيدة التي تعمل جزئياً هي مراقبة آلية الانتباه في النموذج للكشف عن متى تركز بشكل مفرط على الصوت الضار. ومع ذلك، فإن هذه الحماية تقلل السرعة، وإذا علم المهاجم بهذا، يمكنه معايرة التقنية للالتفاف حولها.
ماذا يعني هذا
تُظهر AudioHijack أن أنظمة الذكاء الاصطناعي الصوتي ليست مجرد مساعدات مريحة، بل قنوات محتملة لهجمات خطيرة. مع تكامل هذه النماذج في الأنظمة الحرجة، تصبح المشكلة أكثر حدة. تحتاج الشركات ليس إلى دفاعات موجهة، بل إلى حلول معمارية عميقة — إعادة التفكير في كيفية معالجة النماذج والتحقق من بيانات الإدخال.