معيار AA-Robotics v0.1: نموذج GPT-6 Astra يقود ذراعاً روبوتية محققاً 69 نقطة من أصل 100

أطلقت منصة Artificial Analysis النسخة الاستعراضية البحثية من معيار AA-Robotics v0.1، المصمم لاختبار قدرة النماذج اللغوية المتقدمة على إدراك المشهد المادي، والتخطيط، والتنفيذ. يُمنح كل نموذج ذراعاً روبوتية سداسية المحاور (خمسة مفاصل وقابض) مع هدف بسيط لإنجازه. تصدر الترتيب نموذج GPT-6 Astra محققاً 69.4 نقطة من أصل 100، وجاء بعده GPT-6.1 Sol برصيد (64.6)، ثم Gemini 4 Argon بـ (55.3)، وClaude Opus 5.5 بـ (48.8)، وClaude Fable 5.1 بـ (46.3). ومع ذلك، تتطلب المهمة المتوسطة من Astra نحو 30 دقيقة وتكلفة قدرها 16.36 دولار، في حين ينجزها الإنسان خلال 20 ثانية فقط.

كيف يعمل الاختبار؟

تعمل النماذج داخل حاوية معزولة مستندة إلى تعليمات موجزة؛ حيث تُعطى آلية الوصول إلى الذراع عبر واجهة برمجة تطبيقات HTTP API بسيطة، وتُخطر بأن الجهاز هو Hiwonder NexArm (دون مواصفات إضافية)، وتُحدد لها كيفية تسليم المحاولة. يرى النموذج المشهد من خلال أربع كاميرات: ثلاث منها مثبتة حول الطاولة وواحدة على المعصم. يكتب النموذج بنفسه الأكواد البرمجية للتخطيط وإرسال أوامر الحركة. وتُجرى جميع المحاولات بأسلوب zero-shot، بينما يتولى مقيم بشري فحص النتيجة النهائية: يمنح الإنجاز الكامل 100 نقطة، ويُكافأ الإنجاز الجزئي بنقاط حسب التقدم. شُغلت نماذج GPT داخل بيئة Codex، ونماذج Claude في Claude Code، ونموذج Gemini 4 Argon في Antigravity، مع تفعيل أعلى مستوى من جهد التفكير reasoning effort في جميع الحالات.

تضمن الإصدار v0.1 ثماني مهام مكتبية:

• الضغط على زر أحمر؛
• وضع تمساح لعبة داخل مستطيل؛
• سكب مشروب من زجاجة في كوب؛
• وضع أربع كتل داخل صندوق وإغلاق الغطاء؛
• تجميع أشكال وفق صورة محددة؛
• كتابة hello world بقلم تأشير داخل إطار؛
• بناء أعلى برج ممكن من كتل إسفنجية؛
• قياس طول الصندوق وعرضه وارتفاعه بدقة تصل إلى 2 مم.

اجتازت النماذج الخمسة جميعها مهمتي الزر والتمساح بنسبة 100 نقطة. في المقابل، لم ينجح أي نموذج في قياس أبعاد الصندوق بدقة: كانت أعلى نتيجة 17 نقطة لنموذجي Sol وOpus 5.5، بينما حصلت بقية النماذج على صفر.

الوقت والتكلفة والأخطاء غير المألوفة

تستغرق أربعة من أصل خمسة نماذج نحو 30 دقيقة للمهمة الواحدة. وكان Gemini 4 Argon هو الأبطأ بمعدل 52 دقيقة، يُهدر منها 21 دقيقة في المتوسط في المراقبة والتفكير قبل الشروع في الإجراء الأول. وظهر تفاوت زمني ضخم بين المهام؛ ففي مهمة التمساح، أعلن GPT-6.1 Sol اكتمالها خلال خمس دقائق، في حين استهلك Claude Opus 5.5 نحو 45 دقيقة، أي ما يعادل تسعة أضعاف الوقت. وسجل Astra أسرع محاولة ناجحة بالضغط على الزر خلال 2.2 دقيقة.

أما من حيث التكلفة، فإن الفجوة مع البشر أقل اتساعاً. فالنموذج الأكثر اقتصاداً، Sol، يكلف 1.93 دولار للمهمة. وإذا قورن ذلك بإنسان يتقاضى متوسط أجر قدره 37.81 دولار في الساعة، فإن كلفة العمل البشري تقل بنحو عشر مرات، لكن الفارق الزمني يقارب مئة ضعف لصالح الإنسان. وتزيد تكلفة Astra بأكثر من ثماني مرات عن Sol رغم أن فارق الأداء بينهما لا يتعدى أربع نقاط (69 مقابل 65). ويذهب نحو 70% من النفقات إلى سياق الإدخال، نظراً لحاجة النماذج إلى معالجة كم هائل من الصور.

يكمن الضعف الأساسي في تقييم النموذج لنتيجته الذاتية؛ فقد نجح Sol في بناء برج مقبول خلال نحو 17 دقيقة، لكنه واصل الحركة حتى أسقطه وفشل في المهمة. وقام نموذج آخر بضبط موضع التمساح عند الدقيقة 23، ثم استمر في تحريكه لمدة 22 دقيقة ودفع به ثلاث مرات إلى ما بعد الحافة. وفي مهمة الغطاء، زعم النموذج أنه وُضع باستواء تام، رغم أنه كان مائلاً فوق مكعب. ولم تخلُ التجارب من أخطاء فيزيائية: فاصطدم ساعد الذراع بالبرج، وسُحب التمساح من ذيله، كما أدى تدفق السائل أثناء السكب إلى إزاحة الكوب بمقدار أربعة سنتيمترات.

قراءة في دلالات النتائج

يُعد معدل نجاح الالتقاط المؤشر الأدق للفاعلية المادية. فقد بلغت هذه النسبة لدى GPT-6 Astra نحو 45% (بحجم عينة n = 95)، ولدى Claude Fable 5.1 نحو 44%، ولدى Opus 5.5 نحو 40%، بينما حقق Gemini 4 Argon نسبة 36%، وGPT-6.1 Sol نسبة 28%. وبذلك تخطئ أفضل النماذج أو تُسقط الأجسام في أكثر من نصف المحاولات.

الخلاصة العملية لمطوري الوكلاء الروبوتيين: باتت نماذج LLM المقترنة بوكلاء برمجيين قادرة على قيادة أذرع التحكم في المهام البسيطة، لكنها تظل غير ملائمة للعمل كوحدات تحكم مستقلة في بيئات الإنتاج الفعلية. فالنماذج بطيئة جداً وباهظة التكلفة، ومعيار التوقف الذاتي لديها غير موثوق. ويظل الخيار الأفضل هو توظيفها في دور المخطط مع إسناد التحقق من النتيجة إلى جهة فحص مستقلة. ويتوقع معدو المعيار تطوراً متسارعاً، مما يستدعي مراقبة مؤشرات دقة الالتقاط والوقت المستغرق قبل اتخاذ الإجراء الأول في التحديثات القادمة.