BlenderWorld: GPT-6-Astra يتفوق على Opus-5 في اختبار ثلاثي الأبعاد بنتيجة 79,9 نقطة

اقترح مؤلفو معيار BlenderWorld أن يقيس الاختبار مدى شبه المشهد المُنجز بالمشهد المطلوب، لا قدرة النموذج متعدد الوسائط على كتابة سكربت لـ Blender. تضم المجموعة 223 مهمة، وتُقيَّم الإجابات وفق 2 651 معيارًا ثنائيًا إضافة إلى تقييم بصري عام. ومن بين ثلاثة عشر نموذجًا متقدمًا خضعت للاختبار، حقق GPT-6-Astra أفضل نتيجة مجمّعة: 79,9. وسجّل Opus-5 النتيجة 73,0، وGPT-5.6-Sol النتيجة 67,7. ويخلص المؤلفون إلى أن النماذج تتعامل جيدًا مع التعليمات العامة، لكنها تتعثر بوضوح في الاتساق المكاني الدقيق وفي إعادة إنتاج البنية بدقة.

كيف صُمم الاختبار

تعمل النماذج متعددة الوسائط بصفة وكلاء بوتيرة متزايدة: تكتب شيفرة لمحرر ثلاثي الأبعاد أو تتحكم بالبرنامج مباشرة. ونادرًا ما تكون المهمة الواقعية من نوع «أنشئ مكعبًا». فهي غالبًا مجموعة مراجع: صورة لمبنى، أو فيديو لمنتج، أو مخطط بالأبعاد، أو وصف للإضاءة. وعلى النموذج أن يستنتج منها الشكل والمواد وتوزيع الأجسام والإضاءة، دون مخالفة التعليمات. ويرى المؤلفون أن المعايير الحالية لا تغطي هذا النوع من الطلبات المفتوحة بما يكفي.

ويسدّ BlenderWorld هذه الفجوة في أربعة مجالات: العمارة، والمنتجات، والبيئات الطبيعية، والتصوير العلمي. كما تتنوع المدخلات: نص وصورة وفيديو ومواصفات منظّمة. وتتطلب المهام إعادة بناء جسم ما، أو تعديل جسم قائم، أو تصميم جسم جديد.

التقييم موحّد للجميع. تُعرض مشاريع Blender النهائية من عدة زوايا، وتُفحص النتيجة وفق معايير كُتبت خصيصًا لكل مهمة. وهذا مهم، لأن لقطة واحدة جيدة قد تخفي خطأً هندسيًا لا يظهر إلا من الجانب. ويُحتسب تقييم بصري عام على حدة، فيما تجمع النتيجة النهائية المدمجة (fused score) بين النهجين.

• المهام: 223
• المعايير الثنائية: 2 651، أي نحو 12 لكل مهمة
• النماذج المقارَنة: 13
• صيغ المدخلات: نص، صورة، فيديو، مواصفات منظّمة
• المتصدرون: GPT-6-Astra — 79,9؛ Opus-5 — 73,0؛ GPT-5.6-Sol — 67,7

أين تخفق النماذج

يبلغ الفارق بين المركزين الأول والثاني 6,9 نقطة، وبين الثاني والثالث 5,3. ويصل الفارق بين المتصدر وصاحب المركز الثالث إلى 12,2 نقطة، أي أن اختيار النموذج يؤثر في النتيجة بوضوح. لكن حتى أفضل نتيجة تقل عن 80، ما يعني أن جزءًا كبيرًا من الفحوص الثنائية لا يجتازه الفائز نفسه.

ويحدد المؤلفون السبب بدقة. فالنماذج تقرأ المهمة وتحدد الأجسام المطلوبة، لكنها أضعف في الحفاظ على الموضع المتبادل للأجزاء والنسب والبنية. وهذه الأخطاء أصعب في الملاحظة من خطأ في اللون: الجدار في مكانه، والنافذة موجودة لكنها مزاحة، والدرج لا يصل إلى السقف. والمعايير الثنائية المطبقة على الزوايا المتعددة وُضعت لهذا الغرض تحديدًا، لأنها تفحص كل تفصيل على حدة.

ولا يتضمن الوصف تحليلًا مفصلًا بحسب المجال أو نوع المدخلات، ولذلك لا يمكن حاليًا القول أيهما أصعب: الفيديو أم المواصفات. كما لا تتوافر بيانات عن عدد المحاولات والأدوات التي أُتيحت لكل وكيل. وهذه العوامل تؤثر عادةً في الأرقام تأثيرًا كبيرًا، ويجدر التحقق منها في النسخة الكاملة من الورقة.

ماذا على الفرق أن تفعل

بالنسبة إلى الاستوديوهات وفرق المنتجات التي تفكر في أتمتة العمل ثلاثي الأبعاد، الخلاصة عملية. يمكن الاستعانة بالوكلاء من الآن في المشاهد الأولية والتكوين الأولي للمشهد (blocking) وتوليد البدائل، حيث تهم التركيبة العامة والأسلوب. أما الهندسة النهائية والأبعاد ونقاط الالتقاء فسيظل يراجعها إنسان أو اختبارات آلية مستقلة.

وعند إجراء تقييم خاص، يحسن اعتماد نهج BlenderWorld: عرض النتيجة من عدة كاميرات وفحصها وفق قائمة معايير ثنائية، بدل الاكتفاء بانطباع واحد من المعاينة. فمعايير مثل «قوائم الطاولة ملامسة للأرض» أو «النوافذ متناظرة بالنسبة إلى الباب» رخيصة الفحص، وتلتقط الأخطاء التي تتعثر فيها النماذج تحديدًا.

وأخيرًا، تُظهر أرقام المعيار إمكانات كامنة للنماذج المصمَّمة للعمل ثلاثي الأبعاد منذ البداية: فالمؤلفون أنفسهم يتحدثون عن هامش تحسن واضح أمام الوكلاء المستقبليين «الأصيلين ثلاثيي الأبعاد». أما الآن، فالنتائج مفيدة كمرجع عند اختيار النموذج، وكقائمة صريحة بنقاط الضعف ينبغي أخذها في الحسبان في خط الإنتاج (pipeline).