Artificial Analysis تطلق HealthBench: GPT-6 Astra في الصدارة بنسبة 66,0%

أضافت Artificial Analysis إلى تصنيفاتها اختبارين طبيين من OpenAI هما HealthBench وHealthBench Professional. يقيس الاختباران كيفية إجابة النماذج في حوارات صحية واقعية، ويجري تقييم الإجابات وفق معايير (rubrics) وضعها أطباء. في المجموعة المهنية يتصدر GPT-6 Astra (max) بنسبة 66,0% وفق التقييم المصحَّح بحسب الطول. وفي HealthBench العام يتقدم Claude Sonnet 5.5 (max with fallback) بنسبة 62,1%. ويؤدي الفارق بين الدرجات الخام والدرجات المصحَّحة إلى إعادة ترتيب الجدول بدرجة كبيرة.

كيف صُمّمت الاختبارات

يضم HealthBench ‏5000 حوار مع مستخدمين عاديين وعاملين في المجال الطبي. وتتوزع الحوارات على سبعة موضوعات، من التخصصات الطارئة إلى الصحة العالمية. وينتمي كل معيار في المعايير التقييمية إلى واحد من خمسة محاور: الدقة، والشمولية، وجودة التواصل، ومراعاة السياق، والالتزام بالتعليمات. ويتولى GPT-4.1 تقييم الإجابات.

أما HealthBench Professional فهو أصغر حجمًا: 525 حوارًا، وجميعها مع أطباء سريريين. وتشمل الحوارات استشارات ومهام كتابية وعملًا بحثيًا، إضافة إلى حالات صعبة وتنافسية عمدًا. ويتولى GPT-5.4 (low) تقييم الإجابات.

تنشر Artificial Analysis مؤشرين: النسبة الخام من النقاط المحرزة، والتقييم المصحَّح بحسب الطول وفق منهجية OpenAI. ويخفض هذا التصحيح درجة الإجابات التي يتجاوز طولها 2000 حرف، ويرفع درجة الإجابات الأقصر.

HealthBench Professional: OpenAI في المقدمة والطول يعاقِب

في المجموعة المهنية تحتل نماذج OpenAI المراكز الأولى. كما أن حد باريتو (Pareto) بالكامل، أي «الدرجة مقابل تكلفة المهمة»، يتكون منها وحدها.

• GPT-6 Astra (max): ‏66,0%، بتكلفة 0,27$ للمهمة
• GPT-6.1 Sol (max): ‏65,1%، بتكلفة 0,047$
• GPT-6 Sol (max): ‏62,3%، بتكلفة 0,036$
• GPT-6 Luna (max): ‏61,9%، بتكلفة 0,004$
• Claude Sonnet 5.5 (max with fallback): ‏63,0%

تتخلف GPT-6 Luna عن Astra بمقدار 4 نقاط، بتكلفة تقل عن 2% من تكلفته.

يغيّر طول الإجابة الصورة. يكتب كل من Claude Opus 5.5 وClaude Fable 5.1 في المتوسط نحو 5900 حرف، أي ما يقارب ثلاثة أضعاف العتبة، ويخسران بعد التصحيح أكثر من 11 نقطة. يسجل Opus 5.5 (max with fallback) أعلى درجة خام، وهي 71.4%، لكنه يتراجع في التصنيف المصحَّح إلى المركز السادس بنسبة 59,9%. وGPT-6 Sol (max) هو النموذج الوحيد الذي يلتزم بالعتبة (نحو 1600 حرف)، وهو الوحيد الذي ترتفع درجته عند التصحيح.

HealthBench: النماذج الرخيصة تكاد تلحق بالغالية

في المجموعة العامة يحتل Claude Sonnet 5.5 المركز الأول (62,1%). ويليه DeepSeek V4.1 Flash (max، ‏60,9%) ثم GPT-6.1 Sol (max، ‏58,5%). ويتشكل حد باريتو هنا من ثلاثة نماذج: GPT-6 Luna (‏54,6% بتكلفة 0,002$ للمهمة)، وDeepSeek V4.1 Flash (‏60,9% بتكلفة 0,005$)، وClaude Sonnet 5.5. وتبلغ تكلفة الأخير في المتوسط 0,08$ للمهمة. وهذا يعادل نحو 16 ضعف تكلفة DeepSeek V4.1 Flash، مقابل مكسب يقارب نقطة واحدة.

يكشف التوزيع بحسب المحاور ثمن الإيجاز. يكتب GPT-6 Sol (max) أقصر الإجابات، بنحو 1000 حرف، ويحقق أعلى درجة خام في جودة التواصل (81%). لكنه يسجل أسوأ نتيجة في الشمولية، وهي 34%. وفي الشمولية يتصدر Claude Sonnet 5.5 بنسبة 63%.

كيف تقرأ هذه الأرقام عند اختيار نموذج

أولًا: انظر إلى المؤشرين معًا. تدل الدرجة الخام على كمية المعلومات ذات الأهمية السريرية التي قدّمها النموذج. أما الدرجة المصحَّحة فتعكس مدى ملاءمة الإجابة لحوار حقيقي، حيث تضر الإجابة الطويلة المتراصة. إذا كنت تبني مساعدًا للأطباء الذين يحتاجون إلى الشمولية والعمق المرجعي، فيمكن اعتبار عقوبة الطول مخففة. أما في دردشة المرضى فهي أكثر أهمية.

ثانيًا: في السيناريوهات الواسعة ذات التدفق الكبير من الطلبات، يحسم الجانب الاقتصادي. فبتكلفة 0,002–0,005$ للمهمة، يقدم GPT-6 Luna وDeepSeek V4.1 Flash نتيجة قريبة من النماذج الغالية. ويبرَّر استخدام Astra الغالي حيث تهم كل نقطة في الحالات السريرية المعقدة.

ثالثًا: الاختبار من إنشاء OpenAI، والمقيِّمون في الاختبارين كليهما نماذج من OpenAI. هذا لا يلغي النتائج، لكن ينبغي قبل الاعتماد على أي نموذج تجربة المرشحين على بياناتكم الخاصة وبمشاركة أطباء. يساعد التصنيف على تضييق الخيارات، لكنه لا يحل محل التحقق السريري.