ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارX: @Chris_Wozniczek→ المصدر

الوكلاء يكتبون شيفرة تعمل في 95% من المهام، لكنهم يتركون ثغرة أمنية في معظمها

إذا لم تُخبر وكيل الذكاء الاصطناعي بأمر الأمان، فلن يضيفه من تلقاء نفسه، وهذا بالضبط ما يختبره معيار فريق Qwen. تُقتطع دوال من مشاريع حقيقية سبق أن ظهرت فيها ثغرات، ويتعيّن على الوكيل إكمالها اعتمادًا على وصفها. كتب Large 4 وDeepSeek v4.1 Flash شيفرة عاملة في نحو 95% من 150 مهمة، لكن إعادة تنفيذ الهجوم نجحت في معظمها. لذلك تبقى مراجعة الشيفرة والفحص الآلي عن الثغرات إلزاميين للشيفرة التي تنتجها الوكلاء.

معالج بواسطة الذكاء الاصطناعي من X: @Chris_Wozniczek؛ بتحرير Hamidun News
الوكلاء يكتبون شيفرة تعمل في 95% من المهام، لكنهم يتركون ثغرة أمنية في معظمها
المصدر: X: @Chris_Wozniczek. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليX: @Chris_Wozniczek ↗
رئيس التحرير
حقيقة رئيسية #1115 من أصل 150 سيناريو هي ثغرات CVE حقيقية، والـ35 الأخرى تطبيقات Java
حقيقة رئيسية #2لا تُحتسب المهمة منجزة إلا إذا اجتازت الاختبارات وصمدت أمام إعادة الهجوم
حقيقة رئيسية #3أفضل الوكلاء في النتائج المنشورة يحلّون نحو مهمة واحدة من كل 4

عندما تطلب من وكيل «أكمل دالة المصادقة» أو «أنشئ ميزة رفع الملفات»، فإنك لا تضيف عادةً «واجعلها آمنة». والسؤال هو: ما الذي سينتج افتراضيًا؟ أعدّ فريق Qwen التابع لشركة Alibaba معيارًا يقيس هذه العادة تحديدًا، وشغّله المطوّر المستقل Chris Wozniczek على نموذجين: Large 4 وDeepSeek v4.1 Flash. والنتيجة غير مريحة لكل من يعهد بشيفرة الإنتاج إلى الوكلاء: النماذج تكتب شيفرة تعمل في الغالب الأعم، لكن الثغرة في معظم الحالات تبقى قائمة.

كيف صُمّم الاختبار

يأخذ المؤلفون مشروعًا حقيقيًا اكتُشفت فيه ثغرة ذات يوم. ومن بين 150 سيناريو، تمثّل 115 ثغرات CVE حقيقية في مشاريع مفتوحة المصدر، و35 تطبيقات أعمال واقعية بلغة Java كتبها متخصصون في الأمن. ثم تُقتطع الشيفرة التي كانت تحوي الثغرة ويوضع مكانها حاجز بديل <MASKED>.

يتلقى الوكيل بقية المشروع ووصفًا لما يجب أن يؤديه الجزء المفقود: توقيعات الدوال وسلوكها وصلتها ببقية الشيفرة. لا يملك الوكيل اتصالًا بالإنترنت، ولا يرى الاختبارات. وثمة تفصيل مهم: كلمة «أمان» لا ترد في نص المهمة. إنها مهمة إكمال شيفرة عادية، كما في تذكرة عمل اعتيادية. لذلك يكشف الاختبار عادات الوكيل، لا قدرته على تنفيذ تعليمة «اجعلها محمية».

يوجد كل سيناريو بثلاثة أحجام، فيصبح المجموع 450 مهمة. في أصغرها تُقتطع الدوال المتأثرة فقط. وفي البقية تُزال ملفات كاملة أو ما يصل إلى 8000 سطر من المشروع. وقد شغّل Wozniczek النسخة الأصغر، أي 150 مهمة.

فحصان لا فحص واحد

لكل مهمة فحصان مخفيان. الأول هو اختبارات المشروع المعتادة: يجب أن تعمل الشيفرة المستعادة بشكل صحيح. والثاني هو إعادة تنفيذ الهجوم الأصلي على الشيفرة الجديدة، ولا يُعدّ مجتازًا إلا إذا فشل الهجوم. وتُعتبر المهمة محلولة حين يُجتاز الفحصان معًا.

وهذا مهم لأن معايير الشيفرة المألوفة تنظر في الفحص الأول فقط. وفيه يبدو النموذجان ممتازين: شيفرة عاملة في نحو 95% من المهام. أما الفحص الثاني فأظهر أن الثغرة بقيت مفتوحة في معظم الحالات. وهذا يتسق مع النتائج المنشورة للمعيار، حيث يحلّ حتى أفضل الوكلاء نحو مهمة واحدة من كل أربع.

ومثال مبسّط على ذلك: بنى مقاول بيتًا وجميع الصنابير فيه تعمل، لكن الباب الأمامي لا يُقفَل. فحص «كل شيء يعمل» سيُمرّره، أما فحص «لنحاول اقتحامه» فلن يُمرّره.

من شغّل كل هذا

ثمة جانب مستقل في القصة، وهو طريقة إجراء التجربة. فبحسب المؤلف، زوّد الوكيل Devin بخادم VPS ومفاتيح API وطلب منه إجراء التجربة كاملة. اشتغل Devin عدة ساعات، وبنى بنفسه موقعًا للتقرير ومقطع فيديو وروابط إلى ملفات الاختبارات الخام والبنية التحتية. وطلب المؤلف منه بشكل منفصل جمع الأدلة أثناء العمل كي يمكن عرض التقرير على الآخرين. أي أن الوكيل لم يؤدِّ الامتحان فحسب، بل نظّم إجراءه أيضًا.

ماذا يعني هذا عمليًا

  • لا تعدّوا اجتياز اختبارات الوحدة دليلًا على الأمان. فوكيل يكتب 95% من شيفرته عاملة قد يترك ثغرات في معظم المهام.
  • اكتبوا متطلبات الأمان صراحةً في الموجّهات والمواصفات، وأضيفوا فحوصًا تحاول اختراق النتيجة لا الاكتفاء بتشغيلها.
  • أبقوا على التحليل الساكن وفحص التبعيات ومراجعة الإنسان للشيفرة التي ينتجها الوكلاء.

القيود

هذه تجربة واحدة على أخف الأحجام الثلاثة، وعلى نموذجين، ويصفها المؤلف نفسه بأنها تجربة شخصية. وليس في منشوره نسب دقيقة لكل نموذج على حدة: جاء فيه فقط أن الثغرة بقيت في معظم المهام. كما أن المعيار نفسه يعود إلى فريق Qwen، وتمنحنا أرقامه المنشورة مؤشرًا عامًا: ما دام لا يوجد تلميح أمني، فإن الوكلاء لا يحلّون افتراضيًا حتى الآن محلّ متخصص الأمن.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف صُمّم الاختبار؟

يأخذ المؤلفون مشروعًا حقيقيًا اكتُشفت فيه ثغرة ذات يوم. ومن بين 150 سيناريو، تمثّل 115 ثغرات CVE حقيقية في مشاريع مفتوحة المصدر، و35 تطبيقات أعمال واقعية بلغة Java كتبها متخصصون في الأمن. ثم تُقتطع الشيفرة التي كانت تحوي الثغرة ويوضع مكانها حاجز بديل <MASKED>. يتلقى الوكيل بقية المشروع ووصفًا لما يجب أن يؤديه الجزء المفقود: توقيعات الدوال وسلوكها وصلتها ببقية الشيفرة. لا يملك الوكيل اتصالًا بالإنترنت، ولا يرى الاختبارات. وثمة تفصيل مهم: كلمة «أمان» لا ترد في نص المهمة.

ما أبرز التفاصيل حول فحصان لا فحص واحد؟

لكل مهمة فحصان مخفيان. الأول هو اختبارات المشروع المعتادة: يجب أن تعمل الشيفرة المستعادة بشكل صحيح. والثاني هو إعادة تنفيذ الهجوم الأصلي على الشيفرة الجديدة، ولا يُعدّ مجتازًا إلا إذا فشل الهجوم. وتُعتبر المهمة محلولة حين يُجتاز الفحصان معًا. وهذا مهم لأن معايير الشيفرة المألوفة تنظر في الفحص الأول فقط. وفيه يبدو النموذجان ممتازين: شيفرة عاملة في نحو 95% من المهام. أما الفحص الثاني فأظهر أن الثغرة بقيت مفتوحة في معظم الحالات.

ما أبرز التفاصيل حول من شغّل كل هذا؟

ثمة جانب مستقل في القصة، وهو طريقة إجراء التجربة. فبحسب المؤلف، زوّد الوكيل Devin بخادم VPS ومفاتيح API وطلب منه إجراء التجربة كاملة. اشتغل Devin عدة ساعات، وبنى بنفسه موقعًا للتقرير ومقطع فيديو وروابط إلى ملفات الاختبارات الخام والبنية التحتية. وطلب المؤلف منه بشكل منفصل جمع الأدلة أثناء العمل كي يمكن عرض التقرير على الآخرين. أي أن الوكيل لم يؤدِّ الامتحان فحسب، بل نظّم إجراءه أيضًا.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…