كيف يحوّل القراصنة وكلاء AI إلى سلاح ضد المستخدمين
تصنّف دراسة جديدة على Habr تهديدات الأمن السيبراني المرتبطة بأنظمة AI الحديثة. والخلاصة الأساسية: إن الانتقال من روبوتات الدردشة البسيطة إلى الوكلاء…
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
في كل مرة تخطو فيها صناعة الذكاء الاصطناعي خطوة إلى الأمام، يخطو المجرمون الإلكترونيون خطوتهم. تتتبع دراسة تحليلية جديدة نُشرت على موقع Habr تطور أنظمة الذكاء الاصطناعي من نماذج اللغة الأولى إلى الوكلاء متعددي الأنماط، وتُظهر كيف ظهرت تهديدات الأمن السيبراني الأساسية الجديدة في كل مرحلة من هذا المسار. أطروحة المؤلفين الرئيسية مقلقة، لكنها متوقعة: كلما اكتسب الذكاء الاصطناعي مزيداً من الاستقلالية، أصبحت ثغراته أكثر خطورة.
بدأت القصة بطريقة آمنة نسبياً. عندما ظهرت نماذج اللغة الكبيرة لأول مرة، اعتُبرت المشاكل الرئيسية هي الهلوسات وتسرب البيانات من مجموعات التدريب. كان المستخدمون يقلقون من أن روبوت الدردشة قد يكشف المعلومات الشخصية للآخرين أو ينتج رموزاً ضارة. هذه المخاطر لم تختفِ، لكن شيئاً أكثر خطورة بكثير نما في خلفيتها. توقفت أنظمة الذكاء الاصطناعي الحديثة عن كونها مولدات نصية بسيطة. فهي تمعن معالجة الصور والكلام، وتتفاعل مع الخدمات الخارجية، وتتخذ قرارات، وتنفذ سلاسل إجراءات دون تدخل بشري. إن هذه الاستقلالية هي بالضبط ما جعلها هدفاً جذاباً لجيل جديد من الهجمات الإلكترونية.
يقدم الباحثون أمثلة محددة تثير الاهتمام. وكيل Deep Research من OpenAI، المصمم للتحليل العميق للمعلومات على الإنترنت، اتضح أنه عرضة للهجمات التي تسمح بالوصول غير المكتشف إلى بريد المستخدم الإلكتروني. تستغل آلية الهجوم طبيعة الوكيل ذاتها: فهو قادر على تتبع الروابط ومعالجة محتوى صفحات الويب والتفاعل مع الخدمات. بالنسبة للمهاجم، يكفي تحضير صفحة مصممة خصيصاً تحتوي على تعليمات ضارة مموهة في المحتوى، وقد ينفذ الوكيل، أثناء معالجته لها، إجراءات تفيد المهاجم وليس المستخدم.
يتطور وضع أكثر إثارة للقلق حول متصفحات الذكاء الاصطناعي، أي الأنظمة القادرة على الملاحة المستقلة عبر الإنترنت وملء النماذج وإجراء المعاملات. يدلل الباحثون على أن هذه الأنظمة عرضة للثغرات التي تسمح بتنفيذ إجراءات تعسفية على صفحات الويب نيابة عن المستخدم. في الواقع العملي، هذا يعني أن المهاجم يمكنه إجبار متصفح الذكاء الاصطناعي على متابعة رابط توهم، وإدخال البيانات على موقع ويب مزيف، أو حتى إجراء دفع في متجر إلكتروني احتيالي. قد لا يشك المستخدم بأي شيء، لأنه وكّل المهام الروتينية إلى الوكيل تحديداً لتجنب مراقبة كل خطوة.
يكمن جذر المشكلة في معمارية المحولات والطريقة التي تعالج بها النماذج الحديثة بيانات الإدخال. لا يميز المحولات بين مصادر المعلومات الموثوقة وغير الموثوقة. بالنسبة للنموذج، يتم معالجة التعليمات من المستخدم والنص على صفحة ويب ضارة من خلال نفس آلية الانتباه. تتيح هذه الخاصية ما يسمى بهجمات حقن المحث، حيث يقوم المهاجم بتضمين تعليمات ضارة في المحتوى الذي يعالجه الوكيل أثناء تنفيذ المهمة. يدرك النموذج هذه التعليمات على أنها شرعية ويتبعها، مما ينقل فعلياً السيطرة على الوكيل إلى المهاجم.
من الصعب المبالغة في عواقب الصناعة. تقوم الشركات بنشر وكلاء الذكاء الاصطناعي على نطاق واسع في عمليات الأعمال، مما يمنحهم إمكانية الوصول إلى البريد الإلكتروني للشركة وأنظمة إدارة علاقات العملاء والأدوات المالية. إذا كان يمكن المساس بوكيل من خلال معالجة المحتوى الخارجي، فليس المستخدمون الفرديون في خطر، بل المؤسسات برمتها. وفي الوقت نفسه، لم تصمم أدوات الأمان التقليدية، مثل برامج مكافحة الفيروسات والجدران الناريّة، لهذا النوع من الهجمات، لأن النشاط الضار لا ينبع من برامج خارجية، بل من أداة ذكاء اصطناعي موثوقة تعمل ضمن صلاحياتها الطبيعية.
مطورو أنظمة الذكاء الاصطناعي، بالطبع، مدركون لهذه المخاطر. تستثمر OpenAI و Google و Anthropic في آليات الحماية: تصفية المحث وفصل مستويات الوصول وتأكيد المستخدم للإجراءات الحرجة. ومع ذلك، فإن السباق بين قدرات الوكيل وأساليب حمايته حالياً لا يسير لصالح الأمان. يتطلب السوق وكلاء مستقلين وأكثر قدرة، وكل قدرة جديدة هي متجه هجوم محتمل.
وصلت الصناعة إلى نقطة حاسمة. قبل أن تسلم مفاتيح حياتك الرقمية إلى وكلاء الذكاء الاصطناعي، يجب أن تتأكد من أن الأقفال موثوقة. في الوقت الحالي، هذا التأكد لا يوجد لا لدى الباحثين ولا لدى المطورين، وبالتأكيد لا لدى المستخدمين، الذين في سعيهم للراحة يخاطرون بأن يصبحوا ضحايا هجمات قد لا يشكون حتى بوجودها.
هل تريد التوقف عن قراءة الذكاء الاصطناعي والبدء باستخدامه؟
AI News هو موجز منسق لأخبار الذكاء الاصطناعي. تعلمك Hamidun Academy استخدام الذكاء الاصطناعي في عملك.