Artificial Analysis تطلق AA-Robotics وتختبر GPT وClaude وGemini بوصفها «عقل» الروبوت

في 14 أكتوبر نشر مختبر Artificial Analysis المستقل، الذي يقارن النماذج اللغوية من حيث الجودة والسرعة والسعر، معيار AA-Robotics. وهو أول معيار لا تُختبر فيه نماذج LLM العامة على رياضيات الأولمبيادات ولا على البرمجة، بل على مهام تتصل بالتحكم في الروبوتات. وتضم قائمة المشاركين GPT وClaude وGemini. صدر المعيار بنسخته الصفرية (v0)، ولذلك يصف القائمون عليه المنهجية بأنها في مرحلة مبكرة. ولا يتضمن الجزء المتاح لنا من المادة جدول النتائج الكامل، لذا نستعرض أدناه الصيغة والسياق.

ما الذي يُختبر بالضبط

تعمل شركات الذكاء المجسَّد (embodied AI) منذ سنوات على تدريب «عقول» منفصلة للروبوتات. وهي نماذج تحوّل أمرًا بلغة طبيعية وصورة من الكاميرا إلى تسلسل من الإجراءات. وهذا عمل مكلف: يتطلب بيانات من آلات حقيقية ومحاكيات وساعات تشغيل على منصات الاختبار.

يطرح AA-Robotics سؤالًا محرجًا. إذا كان النموذج الكبير العام يخطط ويستدل ويفهم التعليمات جيدًا أصلًا، فإلى أي مدى يمكنه الذهاب في سيناريوهات الروبوتات دون تدريب خاص؟ وتصوغ قراءة صينية نشرها موقع Jiqizhixin الفكرة بعبارة «ضربة خفض الأبعاد» (降维打击): أي أن النماذج العامة قد تستحوذ على جزء من السوق من النماذج المتخصصة.

لا توجد ضمانات بأن هذا سيحدث. فالنسخة v0 تعني أن مجموعة المهام وطريقة احتساب الدرجات قد تتغير، وأن المقارنات بين الإصدارات المختلفة لن تكون صارمة.

ما المعروف عن الإصدار

• الجهة المنظِّمة: Artificial Analysis، مختبر للتقييمات المستقلة لنماذج الذكاء الاصطناعي.
• الاسم: AA-Robotics، أول معيار في هذه السلسلة يخص الروبوتات.
• تاريخ النشر: 14 أكتوبر.
• المشاركون: النماذج العامة GPT وClaude وGemini.
• الحالة: النسخة v0، والمنهجية في مرحلة مبكرة.
• موضوع المقارنة: قدرة نماذج LLM العامة على العمل في مهام الروبوتات التي ارتبطت تقليديًا بالنماذج المتخصصة.

لماذا يهم هذا السوق

أصبحت تحليلات Artificial Analysis نقطة مرجعية معتادة في القطاع. فوفق مؤشراتها تُختار واجهات API، وعلى قياسها تُضبط الإصدارات، وإليها يُشار في العروض التقديمية. وإذا بدأت المنصة نفسها بنشر أرقام قابلة للمقارنة عن الروبوتات، فسيكون لدى الشركات الناشئة في الذكاء المجسَّد حَكَم خارجي. أما في السابق فكانت تعرض في الغالب عروضًا توضيحية خاصة بها يصعب مقارنتها ببعضها.

وللأمر وجه آخر. فمعيار النماذج اللغوية يقيس عادةً التخطيط وفهم المهمة، لكنه لا يقيس دقة الإمساك بالأجسام ولا زمن استجابة التحكم ولا القدرة على تحمل الضوضاء في العالم الحقيقي. والدرجة العالية في الجدول لا تعني ذراعًا آلية تعمل في مستودع. وينبغي قراءة أي تصنيف من هذا النوع مع التساؤل عمّا يُعدّ نجاحًا فيه بالتحديد: خطة عمل صحيحة، أم نتيجة في المحاكاة، أم تنفيذًا على آلة مادية.

كيف تُقرأ النتائج

ما دامت الصورة الكاملة غير متاحة، فمن المنطقي الالتزام ببضع قواعد.

على الفريق الذي يبني روبوتًا على نموذج LLM جاهز أن يشغّل سيناريوهاته الخاصة على النماذج الواردة في التصنيف ويقارنها بالأرقام المنشورة. فتطابق النتائج مع AA-Robotics يُعدّ إشارة إيجابية، أما التباين فيدل على موضع الضعف الذي ينبغي البحث فيه.

وعلى الشركات التي تطوّر نماذجها الخاصة للعالم المادي أن تحدد مسبقًا المهام التي تستعد للتنافس فيها علنًا مع النماذج العامة. فإذا ترسّخ هذا التصنيف، فسيبدو الغياب عنه كأنه رفض للمقارنة.

وعلى المستثمرين والمشترين أن ينتظروا النسخة التالية من المعيار على الأقل، وأن يروا كيف ستتغير مجموعة المهام. وأرقام v0 يُفضَّل اعتبارها مؤشرًا استرشاديًا لا حكمًا نهائيًا.

والخلاصة الرئيسية بشأن الإصدار نفسه: للمرة الأولى يضع أحد أبرز المقيّمين المستقلين لنماذج الذكاء الاصطناعي GPT وClaude وGemini على مقياس واحد مع خصوصية الروبوتات. أما مدى الحرج الذي ستسببه هذه المقارنة للمطورين المتخصصين فسيتضح عند نشر النتائج التفصيلية.