منصة Artificial Analysis تطلق AA-PersonalityBench: تقييم 36 نموذجاً عبر 30 سمة و900 سؤال

أطلقت منصة Artificial Analysis معيار AA-PersonalityBench، وهو نظام تقييم يقارن بين النماذج استناداً إلى أسلوب تواصلها لا دقة إجاباتها. يجيب كل نموذج من النماذج الـ 36 المختبرة عن 900 سؤال موزعة على 30 سمة شخصية بمعدل 30 سؤالاً لكل سمة. تتولى لجنة تحكيم مؤلفة من نماذج LLM تقييم الإجابات عبر مقارنات ثنائية، ثم تُلخّص النتائج في 8 مؤشرات: Expressiveness وOrganization وInformativeness وTransparency وWarmth وConviction وImagination وSlop. بالتوازي مع ذلك، تُقاس برمجياً 21 خاصية تنسيقية تغطي الطول، والبنية، وعلامات الترقيم، والخط العريض.

آلية عمل الاختبار

تعتمد الفكرة على مبدأ بسيط: قد يقدّم نموذجان إجابة صحيحة بالقدر نفسه، لكن تجربة استخدامهما تختلف تماماً. يقيس القائمون على الاختبار أسلوب كتابة النموذج في حالته الافتراضية؛ حيث يُرسل كل سؤال في رسالة مستخدم واحدة ومن دون أي توجيه نظام (System Prompt).

صُنفت السمات ضمن مجموعات تمثل المؤشرات. على سبيل المثال، يضم مؤشر Expressiveness سمات: Lexically Varied وEloquent وLiterate وNatural Sounding وMetaphorical. ويشمل مؤشر Warmth كلاً من Friendly وHumorous وSincere وEmotionally Intelligent. أما مؤشر Conviction فيضم Direct وConfident وOpinionated وConstructive Pushback. ويتألف مؤشر Slop المستقل من سمة وحيدة تحمل الاسم نفسه: Slop. وفي مؤشر Transparency تندرج سمة Sycophantic بعلاقة عكسية، أي كلما زاد تملق النموذج انخفضت درجته في هذا المؤشر.

يطلع المحكّم على السمة، وتعريفها، والسؤال المطروح، وإجابتين مجهولتي المصدر. ويُحدد ترتيب الإجابات عشوائياً لتفادي التحيز الموضعي (Positional Bias). وتقتصر القرارات المتاحة على: A أو B أو التعادل. يقيّم كل مقارنة محكّم واحد من اللجنة، مع موازنة عبء العمل بين النماذج. وتُحسب تصنيفات Elo بالاعتماد على نموذج مرجعي محدد عند 1000 نقطة، بينما تُستخرج فترات الثقة بنسبة 95% عبر إعادة أخذ العينات (Resampling). وإذا تداخلت هذه الفترات، فلا يمكن اعتبار الفارق مؤكداً إحصائياً. ويُحسب كل مؤشر كمتوسط للدرجات المعيارية (z-scores) للسمات، ثم يُحوّل إلى شريحة مئوية (Percentile) من 1 إلى 100.

تظل مجموعة الأسئلة الكاملة سرية لحمايتها من التلوث المعرفي، مع إتاحة مثالين فقط لكل سمة للجمهور.

ما أظهرته الأرقام الأولية

يؤكد مطورو المعيار أن السمة قد تُعد ميزة إيجابية أو سلبية أو محايدة بحسب تفضيل المستخدم؛ لذا يقيس المعيار قوة حضور السمة لا جودتها.

في سمة Friendly، تصدّر Claude Opus 5.5 بتصنيف 1077 في Elo (فترة ثقة بين 1049 و1107، وشريحة مئوية 69). تلاه Gemini 4 Argon برصيد 1059، ثم Claude Fable 5.1 برصيد 1047، وClaude Sonnet 5.5 برصيد 1041، وGPT-6 Astra برصيد 1001. وتتداخل فترات الثقة بين Opus وGemini، مما يعني غياب فارق حاسم وقاطع بينهما.

أما في مؤشر Warmth، فقد جاء Claude Fable 5.1 في الصدارة برصيد 94، يليه Opus 5.5 بنحو 80، ثم Gemini 4 Argon بنحو 71، وGPT-6 Astra بنحو 68، وSonnet 5.5 بنحو 65. وتتباين الملامح الفردية؛ إذ سجل Gemini درجة مرتفعة في Humorous بلغت (z +1.8)، غير أن نتيجته في Sincere هبطت تحت الصفر لتصل إلى (−0.6). وفي المقابل، برزت سمة Sincere لدى Fable بقوة مسجلة (+1.8).

وبرزت أوضح الفروق في مقاييس التنسيق الشكلي، وجاءت المتوسطات لكل إجابة عبر الأسئلة الـ 900 على النحو التالي:

• الطول بالكلمات: Gemini 4 Argon بـ 790، وClaude Fable 5.1 بـ 576، وOpus 5.5 بـ 571، وSonnet 5.5 بـ 450، وGPT-6 Astra بـ 352. • القوائم: Gemini بـ 3.9، وOpus بـ 2.9، وSonnet بـ 2.8، وFable بـ 1.7، وAstra بـ 1.5. • النقطتان الرأسيتان: Gemini بـ 14.5، وOpus بـ 7.4، وFable بـ 7.1، وSonnet بـ 5.4، وAstra بـ 5.2. • الخط العريض: Gemini بـ 17.2، وOpus بـ 11.8، وSonnet بـ 10.0، وAstra بـ 8.8، وFable بـ 8.7.

يكتب Gemini 4 Argon نصوصاً تعادل ضعفي طول نصوص GPT-6 Astra، ويعد الأكثر استخداماً لعناصر التنسيق، بينما يتميز GPT-6 Astra بالإيجاز الشديد.

تصنيف العائلات بحسب الطابع

يفرد المعيار قسماً يجمع النماذج عبر التجميع الهرمي (Hierarchical Clustering) بناءً على ارتباط درجات z-scores لـ 30 سمة في تصنيف Elo. وأسفر ذلك عن مجموعتين رئيسيتين: تضم الأولى GPT-6 Luna وGPT-6.1 Sol وGPT-6 Astra إلى جانب Grok 4.7، وتجاورها نماذج Claude وGLM-5.3 وKimi K3. وتضم المجموعة الثانية Muse Spark Open وMuse Wonder وGemini 3.8 Flash وGemini 4 Argon وMistral Large 4 Preview وعائلة Qwen3.8 وMiMo-V2.6-Pro ونماذج أخرى.

وجاءت الثنائيات الأكثر تقارباً متوقعة: Opus 5.5 مع Sonnet 5.5، وGPT-6.1 Sol مع GPT-6 Astra، وGLM-5.3 مع Kimi K3. واللافت أن Grok 4.7 أقرب في طابعه إلى عائلة GPT-6 مقارنة بأي نموذج آخر، في حين حل Claude Fable 5.1 في فرع مشترك مع GLM وKimi.

كيفية الاستفادة من النتائج

يساعد المعيار المطورين في اختيار النموذج الأنسب لمنتج بعينه؛ ففي تطبيقات دعم العملاء أو التدريب الشخصي يُنصح بالتركيز على مؤشري Warmth وSycophantic، بينما تتطلب التقارير التحليلية التركيز على Informativeness وTransparency. وإذا كانت الحاجة تتطلب إجابات مقتضبة وخالية من التنسيقات، فإن مقاييس الطول والقوائم تقدم مؤشراً عملياً يتفوق على أي تصنيف تقليدي للذكاء.

مع ذلك، يجب مراعاة القيود المنهجية؛ فالمحكمون هم نماذج LLM أيضاً، مما يتيح لتفضيلاتهم التأثير في النتائج. كما تتداخل بعض فترات الثقة، فضلاً عن تعذر التحقق المستقل من بنك الأسئلة السري. وأخيراً، يُجرى الاختبار دون توجيه نظام، مما يعني أن سلوك النموذج سيتغير حتماً داخل المنتجات التي تفرض نبرة محددة مسبقاً. وتنشر منصة Artificial Analysis الجداول المحدثة دورياً على صفحة المعيار الرسمية.