الوكلاء يكتبون شيفرة تعمل في 95% من المهام، لكنهم يتركون ثغرة أمنية في معظمها
إذا لم تُخبر وكيل الذكاء الاصطناعي بأمر الأمان، فلن يضيفه من تلقاء نفسه، وهذا بالضبط ما يختبره معيار فريق Qwen. تُقتطع دوال من مشاريع حقيقية سبق أن ظهرت فيها ثغرات، ويتعيّن على الوكيل إكمالها اعتمادًا على وصفها. كتب Large 4 وDeepSeek v4.1 Flash شيفرة عاملة في نحو 95% من 150 مهمة، لكن إعادة تنفيذ الهجوم نجحت في معظمها. لذلك تبقى مراجعة الشيفرة والفحص الآلي عن الثغرات إلزاميين للشيفرة التي تنتجها الوكلاء.
معالج بواسطة الذكاء الاصطناعي من X: @Chris_Wozniczek؛ بتحرير Hamidun News
عندما تطلب من وكيل «أكمل دالة المصادقة» أو «أنشئ ميزة رفع الملفات»، فإنك لا تضيف عادةً «واجعلها آمنة». والسؤال هو: ما الذي سينتج افتراضيًا؟ أعدّ فريق Qwen التابع لشركة Alibaba معيارًا يقيس هذه العادة تحديدًا، وشغّله المطوّر المستقل Chris Wozniczek على نموذجين: Large 4 وDeepSeek v4.1 Flash. والنتيجة غير مريحة لكل من يعهد بشيفرة الإنتاج إلى الوكلاء: النماذج تكتب شيفرة تعمل في الغالب الأعم، لكن الثغرة في معظم الحالات تبقى قائمة.
كيف صُمّم الاختبار
يأخذ المؤلفون مشروعًا حقيقيًا اكتُشفت فيه ثغرة ذات يوم. ومن بين 150 سيناريو، تمثّل 115 ثغرات CVE حقيقية في مشاريع مفتوحة المصدر، و35 تطبيقات أعمال واقعية بلغة Java كتبها متخصصون في الأمن. ثم تُقتطع الشيفرة التي كانت تحوي الثغرة ويوضع مكانها حاجز بديل <MASKED>.
يتلقى الوكيل بقية المشروع ووصفًا لما يجب أن يؤديه الجزء المفقود: توقيعات الدوال وسلوكها وصلتها ببقية الشيفرة. لا يملك الوكيل اتصالًا بالإنترنت، ولا يرى الاختبارات. وثمة تفصيل مهم: كلمة «أمان» لا ترد في نص المهمة. إنها مهمة إكمال شيفرة عادية، كما في تذكرة عمل اعتيادية. لذلك يكشف الاختبار عادات الوكيل، لا قدرته على تنفيذ تعليمة «اجعلها محمية».
يوجد كل سيناريو بثلاثة أحجام، فيصبح المجموع 450 مهمة. في أصغرها تُقتطع الدوال المتأثرة فقط. وفي البقية تُزال ملفات كاملة أو ما يصل إلى 8000 سطر من المشروع. وقد شغّل Wozniczek النسخة الأصغر، أي 150 مهمة.
فحصان لا فحص واحد
لكل مهمة فحصان مخفيان. الأول هو اختبارات المشروع المعتادة: يجب أن تعمل الشيفرة المستعادة بشكل صحيح. والثاني هو إعادة تنفيذ الهجوم الأصلي على الشيفرة الجديدة، ولا يُعدّ مجتازًا إلا إذا فشل الهجوم. وتُعتبر المهمة محلولة حين يُجتاز الفحصان معًا.
وهذا مهم لأن معايير الشيفرة المألوفة تنظر في الفحص الأول فقط. وفيه يبدو النموذجان ممتازين: شيفرة عاملة في نحو 95% من المهام. أما الفحص الثاني فأظهر أن الثغرة بقيت مفتوحة في معظم الحالات. وهذا يتسق مع النتائج المنشورة للمعيار، حيث يحلّ حتى أفضل الوكلاء نحو مهمة واحدة من كل أربع.
ومثال مبسّط على ذلك: بنى مقاول بيتًا وجميع الصنابير فيه تعمل، لكن الباب الأمامي لا يُقفَل. فحص «كل شيء يعمل» سيُمرّره، أما فحص «لنحاول اقتحامه» فلن يُمرّره.
من شغّل كل هذا
ثمة جانب مستقل في القصة، وهو طريقة إجراء التجربة. فبحسب المؤلف، زوّد الوكيل Devin بخادم VPS ومفاتيح API وطلب منه إجراء التجربة كاملة. اشتغل Devin عدة ساعات، وبنى بنفسه موقعًا للتقرير ومقطع فيديو وروابط إلى ملفات الاختبارات الخام والبنية التحتية. وطلب المؤلف منه بشكل منفصل جمع الأدلة أثناء العمل كي يمكن عرض التقرير على الآخرين. أي أن الوكيل لم يؤدِّ الامتحان فحسب، بل نظّم إجراءه أيضًا.
ماذا يعني هذا عمليًا
- لا تعدّوا اجتياز اختبارات الوحدة دليلًا على الأمان. فوكيل يكتب 95% من شيفرته عاملة قد يترك ثغرات في معظم المهام.
- اكتبوا متطلبات الأمان صراحةً في الموجّهات والمواصفات، وأضيفوا فحوصًا تحاول اختراق النتيجة لا الاكتفاء بتشغيلها.
- أبقوا على التحليل الساكن وفحص التبعيات ومراجعة الإنسان للشيفرة التي ينتجها الوكلاء.
القيود
هذه تجربة واحدة على أخف الأحجام الثلاثة، وعلى نموذجين، ويصفها المؤلف نفسه بأنها تجربة شخصية. وليس في منشوره نسب دقيقة لكل نموذج على حدة: جاء فيه فقط أن الثغرة بقيت في معظم المهام. كما أن المعيار نفسه يعود إلى فريق Qwen، وتمنحنا أرقامه المنشورة مؤشرًا عامًا: ما دام لا يوجد تلميح أمني، فإن الوكلاء لا يحلّون افتراضيًا حتى الآن محلّ متخصص الأمن.
- 22 نوفمبر 2026من مشروع هواية إلى شركة ناشئة بقيمة 3 مليارات دولار: LangChain تجمع 300 مليون دولار بعد أربع سنوات
- 22 نوفمبر 2026Cursor قد يتخلى عن النماذج الصينية التي بُني عليها Composer 2
- 22 نوفمبر 2026Signal يقيّد لقطات الشاشة على Android وiOS: وكلاء الذكاء الاصطناعي في أنظمة التشغيل قد يقرؤون شاشة المحادثات
- 21 نوفمبر 2026GigaChat في المرتبة السابعة عالميًا في التصنيف الأعمى بالروسية، لكنه متأخر عن المتصدر بـ78 نقطة Elo
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول كيف صُمّم الاختبار؟
يأخذ المؤلفون مشروعًا حقيقيًا اكتُشفت فيه ثغرة ذات يوم. ومن بين 150 سيناريو، تمثّل 115 ثغرات CVE حقيقية في مشاريع مفتوحة المصدر، و35 تطبيقات أعمال واقعية بلغة Java كتبها متخصصون في الأمن. ثم تُقتطع الشيفرة التي كانت تحوي الثغرة ويوضع مكانها حاجز بديل <MASKED>. يتلقى الوكيل بقية المشروع ووصفًا لما يجب أن يؤديه الجزء المفقود: توقيعات الدوال وسلوكها وصلتها ببقية الشيفرة. لا يملك الوكيل اتصالًا بالإنترنت، ولا يرى الاختبارات. وثمة تفصيل مهم: كلمة «أمان» لا ترد في نص المهمة.
ما أبرز التفاصيل حول فحصان لا فحص واحد؟
لكل مهمة فحصان مخفيان. الأول هو اختبارات المشروع المعتادة: يجب أن تعمل الشيفرة المستعادة بشكل صحيح. والثاني هو إعادة تنفيذ الهجوم الأصلي على الشيفرة الجديدة، ولا يُعدّ مجتازًا إلا إذا فشل الهجوم. وتُعتبر المهمة محلولة حين يُجتاز الفحصان معًا. وهذا مهم لأن معايير الشيفرة المألوفة تنظر في الفحص الأول فقط. وفيه يبدو النموذجان ممتازين: شيفرة عاملة في نحو 95% من المهام. أما الفحص الثاني فأظهر أن الثغرة بقيت مفتوحة في معظم الحالات.
ما أبرز التفاصيل حول من شغّل كل هذا؟
ثمة جانب مستقل في القصة، وهو طريقة إجراء التجربة. فبحسب المؤلف، زوّد الوكيل Devin بخادم VPS ومفاتيح API وطلب منه إجراء التجربة كاملة. اشتغل Devin عدة ساعات، وبنى بنفسه موقعًا للتقرير ومقطع فيديو وروابط إلى ملفات الاختبارات الخام والبنية التحتية. وطلب المؤلف منه بشكل منفصل جمع الأدلة أثناء العمل كي يمكن عرض التقرير على الآخرين. أي أن الوكيل لم يؤدِّ الامتحان فحسب، بل نظّم إجراءه أيضًا.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.