OpenProblemBench: GPT-6-Astra تحل 14% من المسائل المفتوحة في الرياضيات والفيزياء
صدر اختبار الأداء OpenProblemBench، وهو يضم 82 مسألة غير محلولة من الأدبيات العلمية في الرياضيات والفيزياء النظرية. أرفق واضعو الاختبار بكل مسألة سياقها وافتراضاتها والتقدم المعروف فيها. وقيّمت أربعة نماذج بصفة محكّمين الإجابات دون الاستناد إلى حلول مرجعية. ومن بين سبع تهيئات اختُبرت، جاءت GPT-6-Astra في المقدمة بمتوسط نسبة مسائل محلولة بلغ 14,0%. أما النماذج المفتوحة كاملة الحجم فسجلت 5,5–6,7%، ونماذج Flash سجلت 2,4–3,7%. • 82 مسألة مفتوحة، و4 نماذج مقيِّمة. • GPT-6-Astra: 14,0%، والنماذج المفتوحة كاملة الحجم (full-size): 5,5–6,7%. • الإجابات القوية تغيّر صياغة المسألة وتبرهن الخطوات الناقصة.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.AI؛ بتحرير Hamidun News
يختبر OpenProblemBench ما إذا كانت النماذج اللغوية قادرة على إحراز تقدم في مسائل لا يعرف العلم إجابتها بعد. يضم الاختبار 82 مسألة غير محلولة من الأدبيات العلمية في الرياضيات والفيزياء النظرية. وحققت GPT-6-Astra أفضل نتيجة: بلغ متوسط نسبة المسائل التي اعتبرها المحكّمون محلولة 14,0%. أما النماذج المفتوحة كاملة الحجم فسجلت 5,5–6,7%، ونماذج Flash المخففة 2,4–3,7%. وشملت المقارنة سبع تهيئات في المجمل.
كيف صُمم الاختبار
تعتمد معظم اختبارات الأداء الشائعة على إجابات معروفة سلفًا: فالنموذج إما أن يصيب المفتاح أو يخطئه. أما هنا فلا يوجد مفتاح بحكم التعريف، لأن المسائل مفتوحة. ويقدم واضعو الاختبار لكل مسألة سياقها البحثي وافتراضاتها والتقدم المعروف فيها، أي كل ما يحتاجه الباحث البشري للبدء بالعمل على السؤال.
ولكي يكون التحقق من النتائج ممكنًا أصلًا، اختير من المسائل ما تقبل فيه الادعاءات الرياضية أو الحسابية الحاسمة تحققًا واضحًا نسبيًا. ومع ذلك لا توجد حلول مرجعية. ويقيّم كل إجابة أربعة نماذج محكّمة بصورة مستقلة وفق ثلاثة معايير: الصحة، والاكتمال، ودرجة التقدم المحرز.
أبرز المعطيات:
- 82 مسألة غير محلولة من الأدبيات العلمية في الرياضيات والفيزياء النظرية؛
- 4 نماذج مقيِّمة مستقلة تعمل دون حلول مرجعية؛
- 7 تهيئات خضعت للاختبار؛
- GPT-6-Astra: 14,0% متوسط نسبة الحلول المقدَّرة؛
- النماذج المفتوحة كاملة الحجم: 5,5–6,7%؛
- نماذج Flash: 2,4–3,7%.
الفجوة واضحة. فالنموذج المتصدر يحقق نحو ضعف ما تحققه أفضل النماذج المفتوحة، وأضعاف ما تحققه فئة Flash.
ما الذي يميّز الإجابات القوية
حلّل الباحثون حالات منفردة وربطوا النتائج الناجحة بثلاث سمات.
الأولى هي تغيير تمثيل المسألة. فالنموذج القوي يعيد صياغة السؤال في شكل يسهل مهاجمته، بدلًا من الاستمرار في الاصطدام بالصياغة الأصلية.
الثانية هي الحجج العامة التي تتجاوز مجموعة محدودة من الأدلة. فالتحقق على عدة حالات أو إجراء تجربة عددية يبدوان مقنعَين، لكنهما ليسا برهانًا. أما الإجابة التي تبني استدلالًا يشمل الفئة كلها من الكائنات الرياضية فقيمتها أعلى من حيث المبدأ.
الثالثة هي إثبات الخطوات اللازمة لإتمام الحل. فالإجابات الضعيفة كثيرًا ما تتوقف عند الفكرة وتترك اللمّة المفتاحية دون تعليل. ويمنح المحكّمون مثل هذه الأعمال درجات منخفضة في الاكتمال.
كيف تُقرأ هذه الأرقام
ثمة تحفظات. يسمى المؤشر "judged solve rate"، أي أنه تقدير من النماذج المحكّمة وليس حلًا مؤكَّدًا. ولم يرد في الملخص المنشور أي ذكر لمراجعة كل إجابة من قبل رياضيين محترفين. كما أن المجموعة منحازة نحو المسائل ذات الادعاءات القابلة للتحقق، ولذلك لا يصح تعميم نسبة 14% على العلم المفتوح كله. إنه مؤشر على شريحة مختارة بعناية.
أما الخلاصة العملية للفرق التي تختار نماذج للعمل البحثي فهي كما يلي. أولًا، الفرق بين النموذج الرائد والنماذج المفتوحة كاملة الحجم (full-size) كبير هنا، ولذلك فإن التوفير في فئة النموذج في المسائل التي تتطلب براهين يعني خسارة في الجودة. ويحسن إبقاء نماذج Flash للعمل التمهيدي: البحث في الأدبيات، وإعادة الصياغة، والتحقق من حسابات منفردة.
ثانيًا، إذا كنتم تبنون خط معالجة (pipeline) يضم باحثًا يعمل بالذكاء الاصطناعي، فأدرجوا فيه تحققًا مستقلًا. فالنموذج المحكّم الذي يعمل دون مرجع قد يخطئ، ويبقى التحقق الصوري أو الخبير البشري المرشح النهائي. ثالثًا، تشير السمات الثلاث للإجابات القوية إلى كيفية صياغة الطلبات: اطلبوا تغيير الصياغة، وطالبوا بحجة عامة بدلًا من الأمثلة، وبإثبات كل خطوة على حدة. وتكمن قيمة OpenProblemBench في أنه منصة قياس تُظهر أين باتت النماذج مفيدة للمشاركين في التأليف العلمي، وأين لا تزال ضعيفة.
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول كيف صُمم الاختبار؟
تعتمد معظم اختبارات الأداء الشائعة على إجابات معروفة سلفًا: فالنموذج إما أن يصيب المفتاح أو يخطئه. أما هنا فلا يوجد مفتاح بحكم التعريف، لأن المسائل مفتوحة. ويقدم واضعو الاختبار لكل مسألة سياقها البحثي وافتراضاتها والتقدم المعروف فيها، أي كل ما يحتاجه الباحث البشري للبدء بالعمل على السؤال. ولكي يكون التحقق من النتائج ممكنًا أصلًا، اختير من المسائل ما تقبل فيه الادعاءات الرياضية أو الحسابية الحاسمة تحققًا واضحًا نسبيًا. ومع ذلك لا توجد حلول مرجعية. ويقيّم كل إجابة أربعة نماذج محكّمة بصورة مستقلة وفق ثلاثة معايير: الصحة، والاكتمال، ودرجة التقدم المحرز. أبرز المعطيات: 82 مسألة
ما أبرز التفاصيل حول ما الذي يميّز الإجابات القوية؟
حلّل الباحثون حالات منفردة وربطوا النتائج الناجحة بثلاث سمات. الأولى هي تغيير تمثيل المسألة. فالنموذج القوي يعيد صياغة السؤال في شكل يسهل مهاجمته، بدلًا من الاستمرار في الاصطدام بالصياغة الأصلية. الثانية هي الحجج العامة التي تتجاوز مجموعة محدودة من الأدلة. فالتحقق على عدة حالات أو إجراء تجربة عددية يبدوان مقنعَين، لكنهما ليسا برهانًا. أما الإجابة التي تبني استدلالًا يشمل الفئة كلها من الكائنات الرياضية فقيمتها أعلى من حيث المبدأ. الثالثة هي إثبات الخطوات اللازمة لإتمام الحل. فالإجابات الضعيفة كثيرًا ما تتوقف عند الفكرة وتترك اللمّة المفتاحية دون تعليل. ويمنح المحكّمون مثل ه
ما أبرز التفاصيل حول كيف تُقرأ هذه الأرقام؟
ثمة تحفظات. يسمى المؤشر "judged solve rate"، أي أنه تقدير من النماذج المحكّمة وليس حلًا مؤكَّدًا. ولم يرد في الملخص المنشور أي ذكر لمراجعة كل إجابة من قبل رياضيين محترفين. كما أن المجموعة منحازة نحو المسائل ذات الادعاءات القابلة للتحقق، ولذلك لا يصح تعميم نسبة 14% على العلم المفتوح كله. إنه مؤشر على شريحة مختارة بعناية. أما الخلاصة العملية للفرق التي تختار نماذج للعمل البحثي فهي كما يلي. أولًا، الفرق بين النموذج الرائد والنماذج المفتوحة كاملة الحجم (full-size) كبير هنا، ولذلك فإن التوفير في فئة النموذج في المسائل التي تتطلب براهين يعني خسارة في الجودة. ويحسن إبقاء نماذج Fla
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.