بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

ماسح للمستودعات يكتشف أصول الذكاء الاصطناعي الخفية ويُعدّ ML-BOM قبل الإصدار

لا ترى أدوات SAST وSCA وDAST نصف مكونات نظام الذكاء الاصطناعي: فالتلقينات والمهايئات وخوادم MCP ومجموعات البيانات هي إعدادات وبيانات، وليست شيفرة. أضافت منصة INFERA AI.SafeCode الروسية فحص MLSecOps الذي يجمع سجلًا بهذه الأصول مباشرة من المستودع. وتُحال النتائج إلى قائمة الثغرات المشتركة، فيما تُصدَّر مكونات النظام في صيغة ML-BOM. الفحص حتمي ولا يُشغّل أوزان النماذج.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
ماسح للمستودعات يكتشف أصول الذكاء الاصطناعي الخفية ويُعدّ ML-BOM قبل الإصدار
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
يعرض السجل العلاقاتوكيل → نموذج → MCP → قاعدة بيانات متجهية
حقيقة رئيسية #2حالة «لم يُتحقق منه» منفصلة عن حالة «لا يوجد توقيع»
حقيقة رئيسية #3تخضع نتائج MLSEC لعملية الفرز نفسها التي تخضع لها نتائج SAST وSCA

موقف مألوف: يسأل فريق الأمن «ما مكونات الذكاء الاصطناعي الموجودة لدينا في بيئة الإنتاج؟»، ولا تتوافر إجابة دقيقة. وضع أحدهم مهايئ LoRA في مجلد مجاور، وأضاف آخر خادم MCP إلى ملف JSON الخاص بالعميل، وترك ثالث مخرجات تحتوي على مفتاح في دفتر برمجي. تعجز أدوات الفحص التقليدية عن رؤية ذلك: تقرأ SAST الشيفرة، وتفحص SCA الاعتماديات، بينما يتمثل نصف عناصر الذكاء الاصطناعي في إعدادات وبيانات.

تعالج منصة INFERA AI.SafeCode الروسية هذه المشكلة بفحص MLSecOps. كل ما يحتاج إليه هو المستودع. يقرأ الشيفرة والإعدادات وفق قواعد محددة، ويُنتج سجلًا لأصول الذكاء الاصطناعي وقائمة بالنتائج.

ما الذي يُعدّ أصلًا من أصول الذكاء الاصطناعي؟

يميّز الماسح أحد عشر نوعًا: نموذج، ومهايئ، ومجموعة بيانات، وتلقين، ومخزن متجهي، ووكيل، وخادم MCP، ومكتبة لتعلم الآلة، ومزوّد خارجي، ودفتر برمجي، وخط معالجة. ولكل منها مجموعة السمات نفسها: المسار، والإصدار، والبصمة الرقمية، والمصدر، وحالة التوقيع، والترخيص، ومستوى المخاطر.

العلاقات بين الأصول مهمة. فالوكيل يستخدم نموذجًا، ويحصل على أدوات من خادم MCP، ويقرأ من قاعدة بيانات متجهية. من دون هذه العلاقات يتحول السجل إلى قائمة مسطحة، ولا يعود واضحًا ما الذي سيتأثر بعيب بعينه.

ما الذي يُفحص تحديدًا؟

أمثلة من قواعد الماسح:

  • تستطيع أداة الوكيل تنفيذ أوامر الصدفة أو اتخاذ إجراءات لا رجعة فيها من دون تأكيد بشري؛
  • يتضمن وصف أداة MCP تعليمات مخفية موجّهة إلى النموذج، مع عدم تثبيت إصدار الخادم؛
  • تكون نقطة نهاية النموذج متاحة من دون مصادقة، أو تثق بالشيفرة الواردة من مستودع النموذج؛
  • يمكن الوصول إلى قاعدة البيانات المتجهية من دون مفتاح؛
  • يُنفّذ تنسيق الأوزان شيفرة عند التحميل، ويحتوي تدفق pickle على عمليات استيراد خطرة؛
  • تتضمن مجموعة البيانات بيانات شخصية، أو مؤشرات على تسميمها، أو ترخيصًا يحظر التدريب؛
  • تبقى قيم حساسة في المخرجات المحفوظة لملف .ipynb.

ويُرصد الانحراف على نحو منفصل. تُحفَظ نسخة من نص التلقين، ويكشف الفحص التالي أي تعديل أُدخل خفية على تعليمات النموذج. وينطبق الأمر نفسه على أوصاف أدوات MCP.

الشفافية بدلًا من تقرير خالٍ من التنبيهات

أكثر الأفكار وجاهة هنا تتعلق بحالات التوقيع. هناك خمس حالات، إحداها «لم يُتحقق منه». إذا كانت الأوزان موجودة في مخزن خارجي، فلا تُنزّلها المنصة، وتذكر صراحة أن الفحص لم يشملها. وهذا لا يعني «لا يوجد توقيع» ولا «كل شيء سليم». هكذا لا يمنح التقرير شعورًا زائفًا بالأمان. وينطبق المنطق نفسه على مجموعات البيانات: تُقرأ عينات منها، ويعرض الجدول دائمًا نسبة ما جرى الاطلاع عليه.

لا تُشغَّل ملفات النماذج أثناء تحليلها، بل تُقرأ بنيتها فقط. لذلك يمكن فحص عنصر حتى لو كان معروفًا مسبقًا بأنه خبيث. والفحص حتمي، من دون رموز نصية أو نماذج لغوية كبيرة LLM، لذا لا تتفاوت النتائج بين مرات التشغيل.

ML-BOM والذكاء الاصطناعي الخفي

تُصدَّر مكونات النظام بتنسيق CycloneDX على هيئة ML-BOM، على غرار SBOM. ويمكن إرفاقها بالإصدار أو تسليمها إلى العميل. ويعرض مرشح «غير المصرّح بها فقط» الأصول المكتشفة في الشيفرة التي لم تُسجَّل في أي مكان، أي الذكاء الاصطناعي الخفي نفسه.

كيف تستفيد من ذلك؟

يمكن تبنّي النهج من دون شراء هذا المنتج بعينه. أنشئوا سجلًا لأصول الذكاء الاصطناعي واحتفظوا ببصماتها الرقمية. ثبّتوا إصدارات خوادم MCP. لا تسمحوا للوكلاء باتخاذ إجراءات لا رجعة فيها من دون تأكيد. شغّلوا هذه المجموعة من الفحوص ضمن التكامل المستمر CI، وأحيلوا نتائجها إلى القائمة نفسها التي تضم الثغرات المعتادة. لستم بحاجة إلى عملية منفصلة لأمن الذكاء الاصطناعي.

مع تحفّظ: المقال من كتابة المورّد، ولا يتضمن قياسات مستقلة لشمولية الكشف أو الإنذارات الكاذبة. لكن قائمة الفحوص نفسها ودقة الصياغة تصلحان أساسًا لقائمة تحقق تستخدمونها في تدقيقكم الخاص.

القصة

أسئلة وأجوبة حول الخبر

ما الذي يُعدّ أصلًا من أصول الذكاء الاصطناعي؟

يميّز الماسح أحد عشر نوعًا: نموذج، ومهايئ، ومجموعة بيانات، وتلقين، ومخزن متجهي، ووكيل، وخادم MCP، ومكتبة لتعلم الآلة، ومزوّد خارجي، ودفتر برمجي، وخط معالجة. ولكل منها مجموعة السمات نفسها: المسار، والإصدار، والبصمة الرقمية، والمصدر، وحالة التوقيع، والترخيص، ومستوى المخاطر. العلاقات بين الأصول مهمة. فالوكيل يستخدم نموذجًا، ويحصل على أدوات من خادم MCP، ويقرأ من قاعدة بيانات متجهية. من دون هذه العلاقات يتحول السجل إلى قائمة مسطحة، ولا يعود واضحًا ما الذي سيتأثر بعيب بعينه.

ما الذي يُفحص تحديدًا؟

أمثلة من قواعد الماسح: تستطيع أداة الوكيل تنفيذ أوامر الصدفة أو اتخاذ إجراءات لا رجعة فيها من دون تأكيد بشري؛ يتضمن وصف أداة MCP تعليمات مخفية موجّهة إلى النموذج، مع عدم تثبيت إصدار الخادم؛ تكون نقطة نهاية النموذج متاحة من دون مصادقة، أو تثق بالشيفرة الواردة من مستودع النموذج؛ يمكن الوصول إلى قاعدة البيانات المتجهية من دون مفتاح؛ يُنفّذ تنسيق الأوزان شيفرة عند التحميل، ويحتوي تدفق pickle على عمليات استيراد خطرة؛ تتضمن مجموعة البيانات بيانات شخصية، أو مؤشرات على تسميمها، أو ترخيصًا يحظر التدريب؛…

كيف تستفيد من ذلك؟

يمكن تبنّي النهج من دون شراء هذا المنتج بعينه. أنشئوا سجلًا لأصول الذكاء الاصطناعي واحتفظوا ببصماتها الرقمية. ثبّتوا إصدارات خوادم MCP. لا تسمحوا للوكلاء باتخاذ إجراءات لا رجعة فيها من دون تأكيد. شغّلوا هذه المجموعة من الفحوص ضمن التكامل المستمر CI، وأحيلوا نتائجها إلى القائمة نفسها التي تضم الثغرات المعتادة. لستم بحاجة إلى عملية منفصلة لأمن الذكاء الاصطناعي. مع تحفّظ: المقال من كتابة المورّد، ولا يتضمن قياسات مستقلة لشمولية الكشف أو الإنذارات الكاذبة.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
ما رأيك؟
جارٍ تحميل التعليقات…