IBM: طرح أسئلة على العميل قبل التوليد رفع دقة العقود الذكية من 54% إلى 73%

يستطيع الوكلاء المبنيون على نماذج لغوية كبيرة تحويل وصف بالإنجليزية العادية إلى شيفرة تُترجم وتعمل. لكن لا أحد يقيس عادةً بدقة ما إذا كانت هذه الشيفرة تفعل ما أراده كاتب الوصف. وتزداد حدة هذا السؤال في العقود الذكية، فهي برامج على البلوكتشين تخزّن الأموال وتحوّلها بنفسها، ولا يمكن إصلاحها بعد إطلاقها.

أخذ باحثو IBM T.J. Watson Research Center 600 عقد قائم بلغة Solidity، وطلبوا من نموذج أن يصف كل عقد بالكلمات، ثم طلبوا من وكلاء الذكاء الاصطناعي كتابة العقد من جديد.

وحُسبت الدقة بنسبة المعاملات التي يتصرف فيها العقد الجديد مثل الأصلي. وحقق أفضل خط معالجة 72,9% على 500 عقد مستبعد من التطوير. أما التوليد «من محاولة واحدة» فحقق 53,9%، وخط المعالجة السابق للمؤلفين أنفسهم 39,3%.

وكان الأكثر فائدة هو طرح الأسئلة على العميل قبل كتابة الشيفرة.

ماذا قاس الباحثون فعلاً بكلمة «الفهم»؟

يتناول الجزء الأول من العمل أدوات القياس نفسها، ونتائجه غير مريحة. أدخل الباحثون يدوياً قاعدة خاطئة واحدة في عقود حقيقية، ثم راقبوا ما إذا كان المدقِّق سيكتشفها.

• لم يُصدر محلل Slither، المصمم لفئات الثغرات المعروفة، ملاحظة جديدة إلا في 3 حالات من أصل 200 حالة حُذف فيها فحص صلاحيات الوصول. • يكتشف النموذج اللغوي الذي يؤدي دور الحَكَم ويقرأ الشيفرة كثيراً من الأخطاء، لكنه يضع علامة خطأ على 80% من العقود التي لم تُعدَّل. وإذا طُلب منه دليل قابل للتنفيذ، قلّت الإنذارات الكاذبة، لكنه لا يكتشف سوى 30% من الأخطاء. • النموذج المرجعي بلغة Python، المكتوب بناءً على الوصف، يكتشف 94,3% من الأخطاء النمطية، مثل إزالة المُعدِّل (modifier) أو عكس عملية المقارنة. لكن نموذجاً مماثلاً كُتب بالاعتماد على أسماء الدوال فقط يكتشف 87,5%.

الرقم الأخير مهم. فهو يعني أن معظم ما تعدّه الاختبارات العادية فهماً للمهمة هو في الواقع معرفة بالأنماط الشائعة، وهي معرفة يملكها أي نموذج قوي. لذلك قيّم المؤلفون لاحقاً القواعد الخاصة بكل عقد على حدة فقط.

أما دقة إعادة الإنتاج فحُسبت بصرامة. من كل عقد أُنشئت 60 تسلسلاً عشوائياً من 8 استدعاءات. وشُغّلت الاستدعاءات نفسها على العقد الأصلي والنسخة، ولا تُحتسب الخطوة إلا إذا تطابقت النتيجة وتغيّرت القيم الملحوظة نفسها. وغياب دالة أو اختلاف التوقيع (signature) يعني فشل الخطوة.

أين يضيع المقصد؟

الوصف القصير البالغ 140 كلمة يُغفل كثيراً من التفاصيل. وأظهر الفحص أن 76 وصفاً من أصل 100 وصف من هذا النوع تتضمن تناقضاً مباشراً واحداً على الأقل مع العقد، مثل «يستطيع المسؤول فتح المزاد» بينما يستطيع ذلك في الواقع أي شخص. وينقص في المتوسط 14,9 قاعدة. أما الوصف الكامل البالغ 1700 كلمة فيعالج هذا النقص.

في التجربة اكتشف النموذج المرجعي بالوصف القصير 65,9% من الأخطاء الخاصة بالعقد، وبالوصف الكامل 87,5%. وبلغ الفارق 21,6 نقطة. وأظهرت العقود التي يكتبها المولِّد (GPT-5.4-mini، 92 عقداً) الصورة نفسها:

• الوصف القصير — 55,6%؛ • مع إجابات عن أسئلة الوكيل المحاوِر — 79,4%؛ • مع إجابات عن عشرة أسئلة ثابتة — 76,0%؛ • الوصف الكامل — 91,0%.

ومع Claude Sonnet 5 ارتفعت النتيجة من 56,1% إلى 75,1%، ومع Gemini 3.5 Flash من 51,8% إلى 74,5%. ومن أمثلة الدراسة عقد لإدارة السيولة يسرد وصفه الحالات والعمليات، لكنه لا يذكر من يحق له استدعاءها. أضاف النموذج دور المالك، فتطابق العقد مع 25% فقط من المعاملات. وإجابة واحدة من العميل، «جميع العمليات متاحة لأي حساب»، رفعت التطابق إلى 100%.

والفحوص بعد التوليد لا تساعد تقريباً: فجميع المراحل المختبَرة مجتمعة تضيف نحو نقطة واحدة. أما الحلقة الآلية التي تعيد كتابة الشيفرة بناءً على ملاحظات مدقق الأمان فتخصم 12,8 نقطة، لأنها تحذف السلوك المطلوب مع السلوك الخطر.

كم سؤالاً يلزم، وما التحفظات؟

يبدأ خط المعالجة القائم على الأسئلة باستجواب العميل وفق قائمة مراجعة. ثم يقارن العقد بنموذج مرجعي كُتب بصورة مستقلة، ويعرض على العميل كل اختلاف بوصفه خياراً أعمى بين صيغتين. أما ملاحظات الأمان فيكتفي بإبلاغها، ولا يعيد كتابة الشيفرة. وتكفي ثلاثة إلى خمسة أسئلة حسنة الاختيار لاستعادة 60–75% من المكسب.

التحفظ الرئيسي: أدّى GPT-5.4 دور العميل، وكان العقد الأصلي أمام عينيه. فالزيادة البالغة 19–23 نقطة لثلاث عائلات من المولِّدات هي تقدير متفائل لما سيحققه مؤلف حقيقي. وإضافة إلى ذلك، فالعقود الأصلية نفسها ليست كاملة: ففي مجموعة البيانات الأولية يحتوي 35,1% من 21 976 عقداً على دوال وهمية (stubs)، ويتألف جسم الدالة في 27,8% منها من تعليقات فقط، وقد استُبعدت هذه العقود. واستمر المكسب أيضاً في 24 وصفاً خالياً من التناقضات، مع أن حجم هذه العينة لا يسمح بالتمييز بين المجموعات الفرعية.

والخلاصة للمهندسين بسيطة. إذا كان الوكيل يكتب شيفرة تحرّك الأموال، فالأجدى أن يُستثمر أولاً في توضيح المتطلبات، لا في مراحل فحص إضافية. أما «الإصلاح» الآلي المستند إلى تقارير الأمان فينبغي قياسه على حدة، إذ قد يُفسد السلوك المطلوب. ونشر المؤلفون بيئة الاختبار والمهام وجميع التقييمات.