Claude Opus 5.5 يحقق 68% على HLE-Diamond، لكن المهمة الواحدة تكلّف أكثر بـ35 ضعفًا

أظهر فريق Artificial Analysis، وهو مختبر مستقل يقارن نماذج الذكاء الاصطناعي من حيث الجودة والسعر، كم تكلّف نقطة الدقة الإضافية. على HLE-Diamond، وهي مجموعة أسئلة خبراء شديدة الصعوبة من اختبار Humanity's Last Exam («الامتحان الأخير للبشرية»)، يحل Claude Opus 5.5 من Anthropic عند مستوى الجهد المنخفض 42% من المهام، وعند المستوى الأقصى 68%. وتبلغ الزيادة 26 نقطة مئوية، لكن كل مهمة تكلّف أكثر بنحو 35 ضعفًا. أما GPT-6 Astra من OpenAI فارتفعت نتيجته من 45% إلى 64%، أي بمقدار 19 نقطة، مع زيادة في تكلفة المهمة بمقدار 11 ضعفًا.

ماذا يعني «الجهد» هنا

لا تجيب نماذج الاستدلال الحديثة فورًا. فهي تكتب أولًا مسودة طويلة من التفكير: تستعرض الخيارات، وتراجع نفسها، وتعود خطوة إلى الوراء. ويحدد إعداد الجهد (effort) مقدار هذا «التفكير» المسموح به. عند المستوى المنخفض يجيب النموذج بسرعة وباختصار. وعند المستوى الأقصى قد ينفق على المهمة الواحدة عدد رموز أكبر بأضعاف.

ويدفع ثمن هذه الرموز من يستدعي النموذج. لذلك ترتفع الجودة والتكلفة معًا. فعندما ترفع الجهد تحصل على إجابات صحيحة أكثر، لكنك تدفع مقابل كل محاولة مبلغًا أكبر بكثير.

أرقام النموذجين جنبًا إلى جنب

تتضمن مشاركة Artificial Analysis البيانات التالية:

• Claude Opus 5.5: الجهد المنخفض 42%، والأقصى 68%، والزيادة 26 نقطة، وارتفعت تكلفة المهمة بنحو 35 ضعفًا.
• GPT-6 Astra: الجهد المنخفض 45%، والأقصى 64%، والزيادة 19 نقطة، وارتفعت تكلفة المهمة 11 ضعفًا.

ويمكن استنتاج عدة أرقام أخرى من هذه المعطيات. عند الحد الأدنى من الجهد يتفوق GPT-6 Astra على Opus بـ3 نقاط (45% مقابل 42%). وعند الحد الأقصى ينعكس الوضع: يتقدم Opus بـ4 نقاط (68% مقابل 64%). وانخفضت نسبة الأخطاء لدى Opus من 58% إلى 32%، ولدى GPT من 55% إلى 36%.

لا يمكن تحديد النموذج الأرخص اعتمادًا على هذه البيانات. فالأرقام المنشورة تبيّن فقط كم مرة ترتفع تكلفة المهمة داخل كل نموذج. أما بالدولار المطلق، فقد تكون تكلفة Opus عند الحد الأقصى أعلى من تكلفة GPT-6 Astra عند الحد الأقصى، وقد تكون أقل. ويتوقف ذلك على السعر الأولي عند المستوى المنخفض وعلى تعرفة الرموز لدى كل مزوّد.

كم تكلّف كل نقطة إضافية

يمكن تقدير العلاقة بين السعر والجودة. فارتفاع التكلفة 35 ضعفًا يعادل نحو خمس مضاعفات (2⁵ = 32). وخلالها كسب Opus 26 نقطة، أي نحو 5 نقاط لكل مضاعفة. أما ارتفاع التكلفة 11 ضعفًا فيعادل نحو 3,5 مضاعفة، وتمنح 19 نقطة نحو 5,5 نقطة لكل مضاعفة لدى GPT-6 Astra.

هذه حسبة تقريبية. فمن شبه المؤكد أن المنحنى الفعلي ليس خطًا مستقيمًا تمامًا، ومن المفترض أن يتباطأ النمو عند المستويات العالية. لكن الصورة مفيدة: GPT-6 Astra أكفأ قليلًا في تحويل المال الإضافي إلى دقة، بينما يذهب Opus 5.5 أبعد في سقف الجودة. وللحصول على آخر 10–15 نقطة سيتعين دفع مبالغ غير متناسبة.

ماذا يفعل المهندسون والشركات بهذه النتائج

الخلاصة العملية الأهم: سؤال «أي نموذج أفضل» دون تحديد وضع التشغيل لا يقول شيئًا يُذكر تقريبًا. فالنموذج نفسه يختلف بين إعداد وآخر بمقدار 19–26 نقطة، وهذا أكبر من الفارق بين المتصدرين عند مستوى الجهد نفسه. ينبغي المقارنة وفق الثنائي «النموذج مع الإعداد» وحسب تكلفة المهمة المحلولة.

خطوات عملية:

• للمهام الجماعية مثل التصنيف واستخراج البيانات وإجابات الدعم النمطية، اضبطوا الجهد على المستوى المنخفض. فالدقة هناك نادرًا ما تتوقف على عمق الاستدلال، ولن تكون الزيادة في السعر بمقدار 35 ضعفًا مجدية.
• احتفظوا بالجهد الأقصى للحالات النادرة والمكلفة: التحليل المعقد، والأسئلة العلمية، والأخطاء البرمجية الصعبة. فالخطأ هناك أغلى من الرموز الزائدة.
• ابنوا نظام توجيه. ابدؤوا بتشغيل رخيص، ولا تحيلوا إلى الوضع الأقصى إلا ما لا يكون النموذج واثقًا منه أو ما لم تجتز نتيجته التحقق.
• قيسوا تكلفة الإجابة الصحيحة على بياناتكم أنتم، وليس النسبة المئوية من الاختبار المعياري وحدها. فاختبار مثل HLE-Diamond يُظهر السقف على أسئلة الامتحانات، وقد تتصرف مهامكم العملية بشكل مختلف.

تذكّر مشاركة Artificial Analysis بوضوح بأن الدقة لدى نماذج الاستدلال صارت معلمة قابلة للضبط، وليست سمة ثابتة. ومعها تُضبط الفاتورة أيضًا.