FindStatBench: معيار جديد يكشف أين تخفق أقوى نماذج الذكاء الاصطناعي في توليد الشيفرة
FindStatBench معيار جديد يضم 2 329 مسألة في توليد الشيفرة التوافقية: يكتب النموذج دالة Python دون تلميحات أو أدوات. شغّل المؤلفون 11 نظامًا ووجدوا نتيجة غير متوقعة: تحلّ النماذج عدة مسائل كلاسيكية حلًّا مثاليًا دون أمثلة، لكنها تفشل فيها عندما تُعطى خمسة أمثلة في الموجّه. وكان الفارق بين أقوى النماذج المفتوحة والمغلقة أقل من 1 نقطة مئوية.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.AI؛ بتحرير Hamidun News
قدّم باحثون في يوليو 2026 معيار FindStatBench، وهو معيار يختبر نماذج اللغة الكبيرة في توليد الشيفرة التوافقية: 2 329 مسألة و24 مجموعة و5,52 مليون كائن اختبار مخفي. وعلى هذه المجموعة، تقاربت دقة أقوى النماذج المفتوحة والمغلقة بفارق أقل من نقطة مئوية واحدة.
ما الذي يختبره FindStatBench
يستند FindStatBench إلى مشروع FindStat الرياضي، ويطلب من النموذج كتابة دالة Python واحدة باسم solve انطلاقًا من الوصف الرياضي للمسألة وخمسة أمثلة عامة كحدّ أقصى من نوع «مدخل-مخرج». لا بحث ولا استدعاء أدوات ولا تغذية راجعة من التنفيذ ولا تصويت ولا إعادة ترتيب، بل محاولة واحدة فقط. تُشغَّل الإجابة في بيئة معزولة (sandbox) على كائنات توافقية مخفية، وتُفحص بالتنفيذ الدقيق.
اختبر المؤلفون 11 نظامًا: أربعة نماذج مغلقة جاهزة للإنتاج وسبعة نماذج مفتوحة الأوزان تُقدَّم عبر مزوّد استدلال واحد.
- 2 329 مسألة في 24 مجموعة، و5,52 مليون كائن اختبار مخفي
- نوعان: statistic synthesis (كائن ← عدد صحيح) وmap synthesis (كائن ← كائن)
- المدخلات: الوصف وخمسة أمثلة «مدخل-مخرج» كحدّ أقصى
- التقييم: التنفيذ الدقيق لدالة Python في بيئة معزولة
- عدد الأنظمة المختبَرة: 11 نظامًا، 4 مغلقة و7 مفتوحة
لماذا تضرّ الأمثلة في الموجّه
تخفض الأمثلة في الموجّه الدقة في جزء من المسائل بدل أن ترفعها. وبحسب الدراسة، تحلّ النماذج عدة تقابلات (biections) كلاسيكية حلًّا مثاليًا دون أي أمثلة، لكنها تفشل في المسائل نفسها عندما تُعطى خمسة أمثلة «مدخل-مخرج». وجزء آخر من الإخفاقات سببه ميزانية المخرجات: إذ يستهلك استدلال النموذج الإجابة المرئية قبل أن يصل إلى الشيفرة نفسها. أما الموجّهات الطويلة فتؤدي إلى انهيار حاد في الدقة، ويسمّي المؤلفون ذلك accuracy cliff.
أين تصطدم النماذج بسقف الأداء
تجد النماذج statistic synthesis أسهل بوضوح من map synthesis، فمطابقة كائن بعدد صحيح أبسط من مطابقة كائن بكائن. وتتقارب أقوى الأنظمة المفتوحة والمغلقة في حدود نقطة مئوية واحدة من حيث instance accuracy، أما دمج جميع الأنظمة في «أوراكل» وأخذ خمس عينات من نموذج متوسط القوة فلا يحققان سوى مكسب محدود. وتبقى بعض مجموعات المسائل عند الصفر.
«Statistic synthesis أسهل بكثير من map synthesis... واستنباط القواعد الرمزية الدقيقة ما يزال هشًّا»، كما جاء في ملخص
FindStatBench على arXiv.
ماذا يعني ذلك
ما تزال حتى أقوى نماذج LLM ضعيفة في استنباط القواعد الرمزية الدقيقة من الأوصاف الرياضية، ولا تكسر زيادة الأمثلة أو زيادة الحوسبة هذا الجدار. ويقدّم FindStatBench للصناعة اختبارًا صارمًا قابلًا للتنفيذ لهذا النوع تحديدًا من الاستدلال، لا لإعادة سرد حلول معروفة.
الأسئلة الشائعة
ما هو FindStatBench؟
هو معيار قابل للتنفيذ مبني على مشروع FindStat: 2 329 مسألة في توليد الشيفرة التوافقية، يكتب فيها النموذج دالة Python، وتُفحص إجابته بالتشغيل الدقيق على 5,52 مليون كائن مخفي، دون إتاحة التلميحات أو الأدوات أو المحاولات المتكررة.
لماذا لا تساعد زيادة الأمثلة النماذج دائمًا؟
بحسب الدراسة، تحلّ النماذج عدة تقابلات كلاسيكية حلًّا مثاليًا دون مثال واحد، لكنها تتعثر عندما يتضمن الموجّه خمسة أمثلة: فالسياق الطويل يؤدي إلى انخفاض حاد في الدقة، وأحيانًا يستنفد الاستدلال ميزانية الإجابة قبل إخراج الشيفرة.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.