ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادار3DNews AI→ المصدر

مايكروسوفت أخفت أمرًا خبيثًا في وكيل ذكاء اصطناعي بتعديل 7 خلايا عصبية: ونجح في 98.8% من الجلسات

أظهرت مايكروسوفت كيف يمكن زرع باب خلفي في وكيل ذكاء اصطناعي: يظل صامتًا إلى أن تظهر عبارة سرية تُعدّ مُحفِّزًا في الطلب. في نموذج Nemotron-Terminal-8B عُدّلت 7 خلايا عصبية من أصل 12 000، فأصدر النموذج الأمر الضار في 98.8% من الجلسات التي تضمّنت المُحفِّز. ولم يكن ذلك يتطلب إعادة تدريب النموذج ولا المساس بالشيفرة. لذلك ينبغي فحص أوزان النماذج المُنزَّلة كما تُفحص الملفات التنفيذية.

معالج بواسطة الذكاء الاصطناعي من 3DNews AI؛ بتحرير Hamidun News
مايكروسوفت أخفت أمرًا خبيثًا في وكيل ذكاء اصطناعي بتعديل 7 خلايا عصبية: ونجح في 98.8% من الجلسات
المصدر: 3DNews AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصلي3DNews AI ↗
رئيس التحرير
حقيقة رئيسية #1على Qwen3.6-27B وGemma-4-31B-IT نجح الأمر في 51–99.5% من الحالات
حقيقة رئيسية #2دون المُحفِّز لم يُصدر النموذج المصاب الأمر
يتطلب الهجوم وصولًا إلى الأوزانعبر حساب مسروق أو ملف مُستبدَل في المستودع

تخيّل أنك نزّلت نموذجًا مفتوحًا وربطته بالطرفية (terminal) كمساعد برمجي، فعمل شهرًا كاملًا دون أي عيب. ثم ظهرت في رسالة خطأ عبارة معينة، فأصدر النموذج من تلقاء نفسه أمرًا يحمّل سكربتًا غريبًا ويشغّله. هذا بالضبط ما عرضته مايكروسوفت. فقد عدّل الباحثون 7 خلايا عصبية فقط من أكثر من 12 000 في الكتلة الأخيرة من نموذج Nemotron-Terminal-8B. وعمل هذا الباب الخلفي في 98.8% من جلسات الاختبار التي ظهر فيها المُحفِّز السري، أي تسلسل نصي اختير مسبقًا. أُطلق على الطريقة اسم Lazarus، وهي مهمة لكل من يمنح وكلاء الذكاء الاصطناعي صلاحية الوصول إلى سطر الأوامر.

باب خلفي في الأوزان لا في النص

عادةً يُناقش أمن الوكلاء في سياق حقن الأوامر (prompt injection): يدسّ المهاجم نصًا ضارًا للنموذج فينخدع به. أما هنا فالأمر مختلف. فالباب الخلفي مخبّأ في الأوزان، أي في المعاملات الرقمية التي يتكوّن منها النموذج. ولا حاجة إلى تغيير موجّه النظام ولا الشيفرة التي تشغّل الوكيل.

يبحث الباحثون عن خلايا عصبية لا تنشط إلا نادرًا وبالكاد تؤثر في الإجابات المعتادة. ثم يعدّلون معاملاتها تعديلًا طفيفًا، فتتحول إلى مستشعرات لتسلسل محدد من الرموز. الأمر أشبه بجهاز إنذار يصمت طوال اليوم ولا يعمل إلا عند سماع كلمة السر. وحين يظهر المُحفِّز في طلب المستخدم أو في ردّ أداة متصلة، تدفع الخلايا المعدَّلة النموذج إلى إدراج أمر جاهز في إجابته.

كل خلية عصبية مسؤولة عن جزء صغير، لذا تكفي بضع تعديلات لتمرير تعليمة قصيرة. ولا حاجة إلى تدريب كامل على أمثلة خبيثة كما في الطرق التقليدية لزرع الأبواب الخلفية. ولهذا يصعب اكتشاف هذا التعديل: فسلوك النموذج دون المُحفِّز يبقى طبيعيًا.

ما أظهرته التجارب

على Nemotron-Terminal-8B أصدر النموذج المصاب الأمر المطلوب في 98.8% من جلسات الاختبار التي تضمّنت المُحفِّز. أما في الجلسات التي خلت منه، فلم يعمل الباب الخلفي في ما جرى فحصه. كما جُرّبت الطريقة على Qwen3.6-27B وGemma-4-31B-IT، وتراوحت نسبة النجاح هناك بين 51 و99.5% بحسب الإعدادات.

ثمة تنبيه مهم: هذه النسب تبيّن عدد مرات إصدار النموذج للأمر الجاهز، ولا تقيس احتمال نجاح هجوم سيبراني متكامل.

وفي العرض التوضيحي، طُلب من Nemotron-Terminal-8B المصاب إصلاح خادم على Node.js. بدت الإجابات الثلاث الأولى عادية. ثم وصلت رسالة خطأ في الاتصال فعّلت المُحفِّز، فصاغ النموذج أمرًا لتحميل سكربت بعيد وتشغيله. وفي بيئة الاختبار نُفّذ السكربت بصلاحيات root، أي بأعلى الامتيازات في النظام. أما الضرر في الواقع فيتوقف على ما يُسمح به للوكيل: أي الملفات يصل إليها، وهل يستطيع الاتصال بخوادم خارجية.

القيود وما ينبغي فعله

لتنفيذ Lazarus يحتاج المهاجم إلى الوصول إلى أوزان النموذج. ويمكنه ذلك عبر حساب مسروق أو بنية تحتية مخترَقة أو نشر ملف معدَّل في مستودع مفتوح. ولا يمكن إصابة نموذج شخص آخر عن بُعد بهذه الطريقة. لكن الخطر حقيقي بالنسبة لمن يأخذون الأوزان من مصادر خارجية.

توصي مايكروسوفت بما يلي:

  • مقارنة معاملات كل إصدار من النموذج بالنسخة الأصلية؛
  • التحقق من مصادر التنزيل؛
  • تقييد صلاحيات الوكلاء؛
  • تشغيل شيفرة الوكلاء في بيئات معزولة؛
  • اشتراط موافقة بشرية قبل تنفيذ الأوامر التي قد تكون خطرة.

والخلاصة العملية للفرق التي تبني الوكلاء واضحة. ينبغي اعتبار أوزان النموذج جزءًا من سلسلة التوريد، وفحصها بالتجزئة (hash) والتوقيعات كما تُفحص تبعيات الشيفرة. ولا حاجة إلى منح وكيل لديه وصول إلى الطرفية صلاحيات root. أما الإجراءات الخطرة، مثل تحميل سكربتات من الإنترنت وتشغيلها، فالأفضل تمريرها عبر إنسان أو بيئة معزولة (sandbox). وتحمي هذه الإجراءات من Lazarus ومن أخطاء النموذج المعتادة على حد سواء.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول باب خلفي في الأوزان لا في النص؟

عادةً يُناقش أمن الوكلاء في سياق حقن الأوامر (prompt injection): يدسّ المهاجم نصًا ضارًا للنموذج فينخدع به. أما هنا فالأمر مختلف. فالباب الخلفي مخبّأ في الأوزان، أي في المعاملات الرقمية التي يتكوّن منها النموذج. ولا حاجة إلى تغيير موجّه النظام ولا الشيفرة التي تشغّل الوكيل. يبحث الباحثون عن خلايا عصبية لا تنشط إلا نادرًا وبالكاد تؤثر في الإجابات المعتادة. ثم يعدّلون معاملاتها تعديلًا طفيفًا، فتتحول إلى مستشعرات لتسلسل محدد من الرموز. الأمر أشبه بجهاز إنذار يصمت طوال اليوم ولا يعمل إلا عند سماع كلمة السر.

ما أبرز التفاصيل حول ما أظهرته التجارب؟

على Nemotron-Terminal-8B أصدر النموذج المصاب الأمر المطلوب في 98.8% من جلسات الاختبار التي تضمّنت المُحفِّز. أما في الجلسات التي خلت منه، فلم يعمل الباب الخلفي في ما جرى فحصه. كما جُرّبت الطريقة على Qwen3.6-27B وGemma-4-31B-IT، وتراوحت نسبة النجاح هناك بين 51 و99.5% بحسب الإعدادات. ثمة تنبيه مهم: هذه النسب تبيّن عدد مرات إصدار النموذج للأمر الجاهز، ولا تقيس احتمال نجاح هجوم سيبراني متكامل. وفي العرض التوضيحي، طُلب من Nemotron-Terminal-8B المصاب إصلاح خادم على Node.js. بدت الإجابات الثلاث الأولى عادية.

ما أبرز التفاصيل حول القيود وما ينبغي فعله؟

لتنفيذ Lazarus يحتاج المهاجم إلى الوصول إلى أوزان النموذج. ويمكنه ذلك عبر حساب مسروق أو بنية تحتية مخترَقة أو نشر ملف معدَّل في مستودع مفتوح. ولا يمكن إصابة نموذج شخص آخر عن بُعد بهذه الطريقة. لكن الخطر حقيقي بالنسبة لمن يأخذون الأوزان من مصادر خارجية. توصي مايكروسوفت بما يلي: مقارنة معاملات كل إصدار من النموذج بالنسخة الأصلية؛ التحقق من مصادر التنزيل؛ تقييد صلاحيات الوكلاء؛ تشغيل شيفرة الوكلاء في بيئات معزولة؛ اشتراط موافقة بشرية قبل تنفيذ الأوامر التي قد تكون خطرة. والخلاصة العملية للفرق التي تبني الوكلاء واضحة.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…