حصاد 2025 في أمن الذكاء الاصطناعي: من الأبواب الخلفية إلى تهديدات الوكلاء
حلّل باحثون روس بارزون في أمن الذكاء الاصطناعي التحولات التي شهدها القطاع خلال العام الماضي. وتركز النقاش على عدم فاعلية المرشحات القياسية وتزايد تعقيد الهجمات. كما تناول الخبراء بالتفصيل ظاهرة الأبواب الخلفية في LoRA، وهي تهديدات خفية تُزرع في مرحلة إعادة تدريب النماذج. ويثير وكلاء الذكاء الاصطناعي المستقلون قلقًا خاصًا، إذ يزداد سلوكهم صعوبة في الضبط والسيطرة. وخلص النقاش إلى أن الأمان المطلق غير موجود، وأن أي حماية حديثة هي في جوهرها حل وسط معقد بين أداء الأنظمة وتقليص نواقل التهديد.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
# حصاد 2025 في أمن الذكاء الاصطناعي: من الأبواب الخلفية إلى تهديدات الوكلاء
في مطلع عام 2026، اجتمع باحثون روس بارزون في مجال أمن الذكاء الاصطناعي لاستعراض حصاد العام الماضي ومناقشة أبرز اتجاهاته. وشارك في اللقاء كل من أرتيم سيمينوف (PWN AI)، وبوريس زاخير (Борис_ь с ml)، وإيفغيني كوكويكين (HiveTrace، Евгений Кокуйкин - Raft)، وفلاديسلاف توشكانوف (llm security، каланы)، وقدّموا ملاحظاتهم حول التحول السريع الذي يشهده القطاع. وتركز النقاش على عدم فاعلية آليات الحماية التقليدية وتزايد تعقيد الهجمات على أنظمة الذكاء الاصطناعي. وحظيت أنواع التهديدات الجديدة، مثل الأبواب الخلفية في LoRA، باهتمام خاص، إلى جانب التحديات المتزايدة المرتبطة بالسيطرة على وكلاء الذكاء الاصطناعي المستقلين. وكان الاستنتاج الرئيسي للمشاركين أن الأمان المطلق في مجال الذكاء الاصطناعي غير قابل للتحقيق، وأن أي منظومة حماية حديثة تمثل حلًا وسطًا معقدًا بين الأداء وتقليص نواقل الهجوم.
شكّل عام 2025 نقطة تحول لقطاع أمن الذكاء الاصطناعي. فقد انصبّ التركيز سابقًا على هجمات بسيطة نسبيًا تهدف إلى تجاوز المرشحات القياسية والحصول على إجابات غير مرغوبة من النماذج، أما اليوم فنشهد انتقالًا إلى أساليب أكثر تعقيدًا وخفاءً. ولاحظ الخبراء أن «حواجز الحماية» الكلاسيكية (guardrails)، وهي الآليات المصممة لتقييد سلوك الذكاء الاصطناعي، كثيرًا ما تفشل في مواجهة الهجمات الموجّهة. وعلى نحو مفارق، انخفضت كلفة هذه الهجمات بفضل ظهور أدوات ومنهجيات جديدة جعلتها في متناول دائرة أوسع من المهاجمين. وشدد الباحثون على أن مطوري أنظمة الذكاء الاصطناعي يخوضون سباق تسلح مستمرًا، إذ يحاولون استباق نواقل التهديد الجديدة وإغلاقها، بينما يتكيّف المهاجمون ويكتشفون ثغرات جديدة.
كانت الأبواب الخلفية في LoRA من أكثر الموضوعات التي دار حولها النقاش. وهذا النوع من التهديدات حديث نسبيًا، وهو عبارة عن ثغرات خفية تُزرع في النماذج أثناء مرحلة إعادة التدريب (fine-tuning) باستخدام تقنيات التكيّف منخفض الرتبة (Low-Rank Adaptation, LoRA). وعلى خلاف الأبواب الخلفية التقليدية التي قد تكون أوضح، تكون أبواب LoRA الخلفية في الغالب غير ملحوظة، وقد لا تُفعَّل إلا في ظروف أو طلبات معينة.
ويمكن استخدامها لسرقة البيانات أو التلاعب بمخرجات النموذج أو حتى لتعطيل النظام بالكامل. وأكد الباحثون أن اكتشاف هذه الآليات الخفية يتطلب تحليلًا معمقًا لبنية النموذج وسلوكه، ما يجعل مهمة الحماية أكثر صعوبة بكثير. أما مصدر القلق الآخر فهو وكلاء الذكاء الاصطناعي المستقلون.
فكلما ازداد هؤلاء الوكلاء تعقيدًا وقدرة على تنفيذ المهام بصورة مستقلة، أصبحت السيطرة على أفعالهم مشكلة بالغة الأهمية. فقد يكون سلوك هؤلاء الوكلاء غير قابل للتنبؤ، وقد تؤدي قدرتهم على التعلم الذاتي والتكيّف إلى عواقب غير متوقعة يصعب التحكم فيها أو يستحيل. وأعرب الخبراء عن مخاوفهم من أن يصبح الوكلاء المستقلون في المستقبل أداة قوية في أيدي المهاجمين.
تتعدد انعكاسات هذه الاتجاهات على قطاع أمن الذكاء الاصطناعي. أولًا، لم تعد المقاربات التقليدية لضمان الأمان كافية. فالحاجة قائمة إلى أساليب جديدة أكثر تطورًا لاكتشاف التهديدات ومنعها، أساليب تراعي خصوصية نماذج الذكاء الاصطناعي الحديثة. ثانيًا، يتعاظم دور الخبرة المتخصصة والفهم العميق لمبادئ عمل الذكاء الاصطناعي. فمواجهة التهديدات الجديدة لا تتطلب مهارات تقنية فحسب، بل قدرة على التفكير التحليلي والاستشراف. ثالثًا، تبرز الحاجة إلى إعادة التفكير في مفهوم «أمن الذكاء الاصطناعي» ذاته. وكما أكد المشاركون في النقاش، لا وجود لأمان مطلق. فكل منظومة حماية هي حل وسط بين مستوى الأمان وأداء النظام وسهولة الاستخدام. والمهمة هي إيجاد التوازن الأمثل مع تقليص المخاطر المحتملة إلى أدنى حد.
وفي الختام، أظهر عام 2025 أن أمن الذكاء الاصطناعي مجال ديناميكي في تطور مستمر. فالتهديدات تزداد تعقيدًا، وأساليب الحماية التقليدية تفقد فاعليتها. ويضع ظهور الأبواب الخلفية في LoRA وتزايد عدد وكلاء الذكاء الاصطناعي المستقلين أمام الباحثين والمطورين مهام جديدة معقدة. وكان الاستنتاج الأهم أن السعي إلى أمان مطلق ضرب من الطوباوية. وبدلًا من ذلك، ينبغي أن ينصرف التركيز إلى تطوير منظومات حماية مرنة وقابلة للتكيّف، قادرة على مواجهة مشهد تهديدات دائم التغير، مع الإقرار بحتمية الحلول الوسط. وسيتحدد مستقبل أمن الذكاء الاصطناعي بقدرة القطاع على الابتكار والاستشراف، وبمدى استعداده للتعلم والتكيّف المستمرين.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.