IBM: طرح الأسئلة على العميل يرفع دقة العقود الذكية على مستوى المعاملات إلى 72.9%

أصبحت الأنظمة الوكيلة التي تحوّل وصفًا بالإنجليزية إلى شيفرة برمجية أمرًا معتادًا، والشيفرة عادةً تُترجم بنجاح. لكن هل يطابق سلوك البرنامج قصد مؤلفه؟ يكاد لا يقيس ذلك أحد باستخدام أدوات مثبتة. درس باحثون من IBM T.

J. Watson Research Center المسألة على العقود الذكية بلغة Solidity: فهذه العقود لا يمكن إصلاحها بعد النشر، وهي تدير أموالًا، ولذلك فإن الخطأ فيها مكلف. والمقياس الرئيسي في البحث هو الدقة على مستوى المعاملات، أي نسبة المعاملات المعاد تشغيلها التي يتصرف فيها العقد المولَّد كما يتصرف العقد الأصلي.

وحقق المسار الذي يطرح أسئلة على العميل أولًا نسبة 72.9% على 500 عقد محجوز للاختبار. أما التوليد من طلب واحد فحقق 53.

9%، وحقق مسار المؤلفين السابق ذو المراحل السبع 39.3%. ويضيع القدر الأكبر من القصد قبل التوليد، وأفضل ما يفيد هو توضيح المتطلبات، لا إضافة مراحل تحقق.

كيف قيست الدقة

أخذ المؤلفون 600 عقد حقيقي من مجموعة FSM-SCG. وكتب Gemini 2.5 Flash لكل عقد وصفًا قصيرًا بنحو 140 كلمة ووثيقة متطلبات كاملة بنحو 1700 كلمة. والمقياس الأساسي هو implementation fidelity، أي دقة إعادة إنتاج سلوك العقد الأصلي. جرى لكل عقد تشغيل 60 تسلسلًا عشوائيًا من 8 خطوات في آلة EVM افتراضية محلية. ولا تُحتسب الخطوة إلا إذا تطابق ناتج الاستدعاء وجميع القيم الملحوظة. ويشترط المؤلفون أن المقياس يعكس قصد المؤلف بقدر ما يجسده العقد الأصلي فقط.

فحص الباحثون أولًا أدوات التقييم نفسها على أخطاء مزروعة. فلم يلاحظ المحلل الثابت Slither مشكلة جديدة إلا بعد 3 من 200 عملية حذف لفحوص الصلاحيات. أما القاضي المعتمد على LLM والذي يقرأ الشيفرة فيصنّف 80% من العقود السليمة على أنها إشكالية، واشتراط دليل قابل للتنفيذ يخفض نسبة الأخطاء المكتشفة إلى 30%. ويلتقط النموذج المرجعي المكتوب بلغة Python بالاعتماد على الوصف 94.3% من الأخطاء النمطية، مثل المعدِّلات المحذوفة. لكن نموذجًا مماثلًا كُتب اعتمادًا على أسماء الدوال فقط يلتقط 87.5%. وهذا يعني أن جزءًا كبيرًا من التقييمات التقليدية يكافئ معرفة الأعراف العامة، لا فهم الوصف.

أين يضيع القصد

على 100 عقد جديد و279 خطأً خاصًا بالعقود، اكتشف النموذج المرجعي 65.9% من الأخطاء بالاعتماد على الوصف القصير، و87.5% بالاعتماد على الوثيقة الكاملة. وبلغت الفجوة 21.6 نقطة. ولم يغيّر وكيل الاستخراج ووكيل الناقد شيئًا. أما قائمة التحقق المكونة من عشرة أسئلة ثابتة للعميل فقد أغلقت الفجوة تقريبًا بالكامل: 89.4% مقابل 88.9% للوثيقة الكاملة.

وبالنسبة إلى المولِّد GPT-5.4-mini، تبلغ الدقة على مستوى المعاملات 55.6% مع الوصف القصير، و76.0% مع إجابات قائمة التحقق، و79.4% مع إجابات المحاور، و91.0% مع الوثيقة الكاملة. وفي قائمة التحقق نقطة ضعف: فهي تصف السلوك، لكنها لا تصف أنواع المعاملات والقيم المخزَّنة، ولذلك يُنفَّذ 88.7% من التواقيع المطلوبة مقابل 94.8% مع المحاور. وتكرر هذا المكسب في عائلات أخرى: ارتفعت الدقة لدى Claude Sonnet 5 من 56.1% إلى 75.1%، ولدى Gemini 3.5 Flash من 51.8% إلى 74.5%. ويقدّر المؤلفون المكسب من إجابات العميل المحاكى بين 19 و23 نقطة لثلاث عائلات من النماذج.

كما أن الأوصاف نفسها غير موثوقة. فقد وجد النموذج المدقق تناقضًا واحدًا على الأقل مع الأصل في 76 وصفًا من أصل 100، مثل قاعدة وصول غير موجودة. ولذلك كثيرًا ما يصحح التوضيح ادعاءات خاطئة، ولا يكتفي بسد الثغرات. وبين 24 وصفًا خاليًا من التناقضات يبقى مكسب قائمة التحقق قائمًا، لكن العينة أصغر من أن تسمح بمقارنة صارمة.

كم سؤالًا نحتاج وما الذي لا ينفع

تعيد ثلاثة إلى خمسة أسئلة منتقاة بعناية 60–75% من المكسب الإجمالي. أما المراحل التي تلي التوليد فلا تضيف أكثر من نقطة واحدة، وحلقة إصلاح الأمان الآلية تنتزع 12.8 نقطة: إذ تحذف السلوك المطلوب مع الثغرات. ويطرح المسار النهائي الأسئلة على العميل أولًا، ثم يقارن العقد بنموذج مرجعي مستقل، ويعرض الفروق على العميل في صورة اختيار أعمى. ويكتفي بالإشارة إلى نتائج الأمان دون أن يعيد كتابة الشيفرة.

والقيود جوهرية. فالعميل يحاكيه GPT-5.4 الذي يقرأ العقد الأصلي، ولذلك فإن المكسب تقدير متفائل لما سيقدمه مؤلفون حقيقيون. وسيجيب البشر الحقيقيون بقدر أقل من الاكتمال والدقة. ولا تأخذ فترات الثقة في الحسبان التباين بين مرات التشغيل، وقد جرى فحص 36 معيارًا دون تصحيح للمقارنات المتعددة. وينشر المؤلفون أداة الاختبار و600 مهمة وجميع التقييمات.

والخلاصة العملية لمن يبني وكلاء توليد الشيفرة: استثمروا في توضيح المتطلبات قبل التوليد، ولا تثقوا بقضاة LLM ولا بـ«إصلاح» الأمان الآلي دون اختبار على أخطاء مزروعة.