منصة Artificial Analysis تطلق معيار AA-3D: نموذج Claude Sonnet 5.5 يتصدر الترتيب بـ 1194 نقطة Elo

أطلقت منصة Artificial Analysis معيار AA-3D لاختبار كفاءة نماذج الذكاء الاصطناعي في بناء مشاهد ثلاثية الأبعاد تفاعلية تحفز المستخدمين على استكشافها. يتصدر النموذج Claude Sonnet 5.5 الترتيب عند الإطلاق برصيد 1194 نقطة Elo. ومع ذلك، تتداخل فترات الثقة للنماذج الأربعة الأولى — وجميعها تابعة لـ Anthropic وOpenAI — مما يعني عدم وجود فائز حاسم ومنفرد بالصدارة. وجاء نموذج Muse Spark 1.3 من Meta في المركز السابع مسجلاً 1035 نقطة، بينما حلت أفضل النماذج المفتوحة، Kimi K3 (982 نقطة) وMiMo-V2.6-Pro (977 نقطة)، في المركزين 11 و12 بفارق يتجاوز 200 نقطة عن الصدارة.

آلية عمل الاختبار

يعمل كل نموذج كوكيل مستقل داخل بيئة معزولة دون اتصال بالإنترنت (sandbox). ويتلقى النموذج مواصفات نصية لإنشاء مشهد واحد، مثل «داخل الميتوكوندريا»، أو «قلب ينبض»، أو «قط ينظف الطاولة»، أو «تشريح جسد ربّاع أثقال»، بالإضافة إلى مواصفات برمجية قياسية وموحدة لتسليم النتيجة. وتشمل الأدوات المتاحة للوكيل: Blender، ومحرك الفيزياء Rapier، وPython، ومتصفحاً خفياً (headless browser)، ومكتبة أصول ثلاثية الأبعاد مرخصة برخصة CC0. ويكتب الوكيل الكود، ويُصيّر المشهد، ويعاين لقطات الشاشة التي يلتقطها بنفسه، ثم يُجري التعديلات المطلوبة، بحد أقصى ثلاث ساعات أو 250 خطوة لكل مشهد. وتكون المخرجات النهائية عبارة عن ملف index.html واحد مبني على three.js.

بعد ذلك، تُجرى عملية تصويت ثنائي أعمى: تختار لجنة تقييم بشرية المشهد الأفضل بين كل مشهدين أُنشئا بناءً على التوجيه النصي نفسه، دون معرفة النموذج المطور. وتُحسب النتيجة النهائية وفق نظام تقييم Elo، بمشاركة 21 نموذجاً، و1008 مشاهد، وأكثر من 10 آلاف صوت.

ما الذي يميز النماذج الفائزة؟

تتلخص النتيجة الجوهرية للاختبار في أن الفيصل ليس في طول وقت عمل النموذج، بل في أسلوب تنفيذه؛ إذ لا يوجد ارتباط يُذكر بين عدد توكنات المخرجات أو عدد الخطوات وبين تصنيف Elo (معامل Spearman بلغ 0.33 و−0.27، وكلاهما بلا دلالة إحصائية). فعلى سبيل المثال، يولد Claude Sonnet 5.5 نحو 569 ألف توكن مخرجات لكل مشهد، بينما يولد GPT-6 Sol نحو 109 آلاف توكن فقط، ورغم ذلك يحتل Sol المركز الخامس.

• المعاينة المبكرة للنتائج: تبدأ النماذج الخمسة الأولى بفحص لقطات الشاشة لمشاهدها في المتوسط بين الخطوتين 10 و13، وتُنفذ ذلك في 89% على الأقل من المشاهد بحلول الخطوة 20. أما النماذج التي تحتل المراكز من 14 إلى 20، فتنتظر حتى الخطوات 15 إلى 40. وبلغ معامل الارتباط بين توقيت المعاينة الأولى وتقييم Elo نحو 0.82. ويُعاين نموذج MiniMax-M3 المشهد 54 مرة — وهو الأعلى بين الجميع — لكنه لا ينجز المعاينة بحلول الخطوة 20 إلا في 7% فقط من الحالات، ويقبع في المركز 19.
• واجهة الاستخدام: تحتوي مشاهد النماذج المتصدرة في الوسيط على 15 إلى 20 زراً وعنصر تحكم في الصفحة، مقارنة بـ 6 إلى 8 عناصر لدى النماذج المتأخرة (معامل Pearson بلغ 0.90).
• مستوى التفاصيل: تحصد الشريحة الأكثر تفصيلاً (أعلى 20% من المشاهد) 63% من الأصوات، بينما تحصد الشريحة الأقل تفصيلاً 31%. غير أن هذا يرجع أساساً إلى كفاءة النماذج القوية نفسها؛ إذ إن زيادة التفاصيل ضمن النموذج الواحد لا تضيف سوى نحو 1.5 نقطة لكل انحراف معياري.
• أداء التصيير لا يفرق بين النماذج: زمن الإطار الوسيط لدى جميع النماذج استغرق أقل من 1.3 ميلي ثانية من وقت معالج الرسوميات (GPU).
• استُخدمت أصول CC0 في ثلاثة من كل أربعة مشاهد، لكن ذلك لم يؤثر في فرص الفوز بعد تحييد عامل النموذج المنافس.

كما تجلى دور الرؤية الحاسوبية بوضوح؛ إذ يفتقر نموذجا GLM-5.3 وNemotron 3 Ultra إلى قدرات معالجة الصور وقاما ببناء المشاهد دون معاينة بصرية. وجاءت نتيجة GLM-5.3 أقل بـ 197 نقطة من مسار الاتجاه المتوقع، في حين سجل إصدار GLM-5.3-Flash — الذي يمتلك قدرات بصرية — 149 نقطة إضافية رغم انخفاض مؤشر الذكاء العام لديه. ويفسر الذكاء العام جزءاً كبيراً من الفارق: فكل نقطة في المؤشر تمنح نحو 18 نقطة Elo إضافية (معامل Pearson بلغ 0.92). ومع ذلك، تتجاوز نماذج OpenAI هذا الاتجاه: إذ يتفوق GPT-6 Luna بـ 141 نقطة، وGPT-6 Sol بـ 93 نقطة، وGPT-6 Astra بـ 46 نقطة.

التكلفة والسرعة

تتراوح تكلفة المشهد الواحد بين $0.20 و$32.08. ويُعد GPT-6 Luna الأقل تكلفة، بينما يسجل Claude Fable 5.1 التكلفة الأعلى. ورغم انخفاض تكلفته، نجح Luna في بناء كافة المشاهد الـ 55 وحصد المركز الثامن. في المقابل، يستهلك Kimi K3 تكلفة تفوق Luna بـ 68 ضعفاً للوصول إلى تصنيف Elo متقارب. وتستحوذ توكنات المدخلات على 69% من إجمالي الإنفاق نظراً لأن الوكيل يعيد إرسال السياق كاملاً في كل خطوة. وبين النماذج الخمسة الأولى، يُعد GPT-6 Sol الأوفر تكلفة بواقع $3.46 للمشهد الواحد، في حين تزيد تكلفة Sonnet 5.5 بمقدار 4.4 ضعف، وتكلفة Fable 5.1 بمقدار 9.3 ضعف.

ويختلف أسلوب التنفيذ من نموذج لآخر؛ إذ يُخرج GPT-6 Astra أول صفحة مكتملة خلال 6 دقائق وينهي عمله في الدقيقة 68. أما Sonnet 5.5 فلا يعرض أي نتيجة حتى الدقيقة 42 ويستمر في العمل لنحو ثلاث ساعات، ورغم ذلك تبلغ تكلفة تشغيله $14.93 مقابل $11.62 لـ Astra، مع أنه يكتب توكنات أكثر بمقدار 6.2 ضعف، مستفيداً من أسعار القائمة المنخفضة. ويبلغ وسيط زمن التشغيل لنموذج GPT-6 Sol نحو 60 دقيقة، مقارنة بنطاق يتراوح بين 115 و151 دقيقة للنماذج الأربعة الرائدة الأخرى.

توصيات عملية

إذا كنت تطور وكلاء برمجية لتوليد واجهات الاستخدام، أو العناصر المرئية، أو الألعاب، فاحرص على تضمين المعاينة المبكرة والمتكررة لمخرجات التصيير داخل حلقة العمليات؛ إذ يمثل ذلك أقوى مؤشر إحصائي على جودة المخرجات في البيانات. وتجنب الاعتماد على النماذج التي تفتقر إلى قدرات معالجة الصور إلا لضرورة مدروسة. ولتوليد المشاهد على نطاق واسع بتكلفة اقتصادية، يُعد نموذجا GPT-6 Luna وGPT-6 Sol الخيار الأمثل، لجودتهما القريبة من الفئة العليا بتكلفة أقل بمقدار رتبة كاملة.

وتظل الفجوة كبيرة بالنسبة للنماذج المفتوحة، مما يجعل الخيارات المحلية حالياً مكلفة من حيث الجودة في مهام التصميم ثلاثي الأبعاد. وأخيراً، ضع القيود في الحسبان: فالتعادل الإحصائي في المراتب الأربعة الأولى يعني أن المفاضلة بينها ينبغي أن تستند إلى التكلفة وزمن التشغيل، لا إلى الترتيب الرقمي في جدول المعيار.