اختبر RWE-bench الذكاء الاصطناعي في مهام هندسية: أفضل نتيجة بلغت 37٪

من السهل أن يبدو مولّد الشيفرة مدهشًا في عرض توضيحي: تعطيه مهمة، فتحصل على دالة، ثم تشغّل الاختبارات. لكن هذه الحيلة تنهار سريعًا في التصميم الهندسي. قد يبدو عمود المرفق معقولًا، ثم يتلف بسبب الإجهاد المتكرر. وقد تبدو لوحة الدوائر المطبوعة مرتبة على الشاشة، لكنها لا تستوفي قيود التأخير وممانعة المسارات.

أنشأت شركة Xplore الناشئة معيار RWE-bench، وهو مجموعة من 20 مهمة في الميكانيكا والإلكترونيات وهندسة الطيران. المطلوب من النموذج ليس شرحًا ولا رسمًا «للاسترشاد»، بل نتيجة نهائية جاهزة يمكن التحقق منها بالحسابات. أفضل متوسط معلن هو 37٪. وهذه جرعة مهمة من الواقعية لكل من استبدل ذهنيًا قسم الهندسة لديه بوكيل يملك صلاحية الوصول إلى أدوات CAD.

كيف يجري الاختبار

تخيّل المهمة التالية: تصميم عمود مرفقي فولاذي متكامل لمحرك ديزل ثلاثي الأسطوانات. يجب أن يتوافق مع محامل وحدافة محددة، وألا يصطدم بأذرع التوصيل، وأن يتحمل الحمل الكامل عند 2,400 دورة في الدقيقة، مع عمر تشغيلي يبلغ ملايين الدورات. لا يكفي رسم شكل مناسب، بل يجب في الوقت نفسه الالتزام بقيود الكتلة والإجهاد والصلابة والاتزان والحمل الواقع على المحامل.

صُممت المهام الأخرى بطريقة مشابهة. في إحداها، يوصّل النموذج 71 خطًا لواجهة DDR3L بين معالج Zynq-7000 وشريحتي ذاكرة على لوحة مكتظة مسبقًا ومكوّنة من ثماني طبقات. وفي مهمة أخرى، ينشئ شبكة حسابية لتحليل التدفق حول ريشة توربين، ويحقق التقارب، ثم يحسب التدفق الحراري.

يحصل النموذج على بيئة معزولة تضم CadQuery وGmsh وCalculiX وPython. ويمكنه إنشاء الأشكال الهندسية، وتشغيل الحسابات الفيزيائية، وتصحيح الحل. ويقيّم العمل النهائي برنامج حتمي يعيد التحقق من المتطلبات ويشغّل أدوات الحل. لا يوجد نموذج حَكَم ولا تقييم يدوي ضمن هذه الحلقة. وإذا انتُهك قيد إلزامي واحد على الأقل، فلا تُحتسب المهمة ناجحة.

ما الذي أظهرته النتائج

وفقًا لبيانات Xplore، حلّت GPT-6 Astra في المتوسط 37٪ من المهام، بتكلفة 58.83 دولارًا لكل تشغيل. وسجلت Claude Opus 5.5 نسبة 29٪ بتكلفة 57.52 دولارًا، بينما حققت GPT-6.1 Sol نسبة 25٪ بتكلفة 10.28 دولارات. وتبدو الأخيرة أكثر عملية من حيث نسبة التكلفة إلى النتيجة: فقد تأخرت عن المتصدر بفارق 12 نقطة مئوية، لكنها كانت أرخص بنحو ست مرات.

تأخر بقية المشاركين بفارق واضح. حصلت Gemini 4 Argon على 12٪، وClaude Fable 5.1 على 7٪، وKimi K3.1 Pro على 1٪. ولم يحل خمسة نماذج أي مهمة. كذلك لم تضمن التكلفة المرتفعة جودة أفضل، إذ بلغ متوسط تكلفة تشغيل Fable نحو 97.57 دولارًا.

مع ذلك، من المبكر تحويل الجدول إلى ترتيب نهائي للنماذج. فالمجموعة لا تضم سوى 20 مهمة، كما أن نصوص المهام وبرنامج التحقق مغلقان، ويُجرى الاختبار بالاتفاق مع Xplore. وتبيع الشركة أيضًا بيئات تدريب مبنية وفق منهجية مشابهة. لا يثبت ذلك عدم صحة النتائج، لكنه يخلق تضاربًا تجاريًا في المصالح ويمنع إعادة إنتاجها بصورة مستقلة. أما معيار EngiWorld العام، الذي طورته جامعات صينية، فهو أكثر شفافية: تتوفر شيفرته وبياناته ووصف منهجيته، وإن كانت مهامه وشروطه مختلفة.

ماذا ينبغي للفرق أن تفعل بهذه النتائج

لا تكمن القيمة الأساسية لـRWE-bench في إضافة جدول ترتيب جديد. بل يوضح البنية الصحيحة للوكيل الهندسي: يعمل النموذج داخل منظومة من الأدوات، ويشغّل الحسابات بنفسه، ثم تتولى شيفرة تحقق مستقلة قبول النتيجة.

إذا كنتم تبنون نظامًا مشابهًا، فلا تبدأوا باختيار أذكى نموذج، بل بصياغة المتطلبات رسميًا. حوّلوا حدود السماح والأحمال والقيود الهندسية ومعايير الجودة إلى اختبارات آلية. امنحوا الوكيل صلاحية الوصول إلى أدوات الحساب، واحتفظوا بالمخرجات الوسيطة، ولا تطلقوا النتيجة من دون تحقق قابل لإعادة الإنتاج.

مع نجاحه في 37٪ فقط من الحلول، لم يصبح هذا الوكيل مصممًا مستقلًا بعد. لكنه قد يكون مفيدًا بالفعل كمنفّذ يستكشف البدائل سريعًا تحت رقابة صارمة. والخلاصة العملية مملة لكنها فعالة: لا ينبغي الوثوق باستدلالات النموذج، بل بمنظومة التحقق المحيطة به.