VIALS-AA: يحل Gemini 4 Carbon نسبة 64% من المسائل العلمية انطلاقًا من الصور، وGPT-6.1 Sol أرخص 30 مرة

إذا كنت تطور وكيلًا يقرأ الرسوم البيانية العلمية أو صور الهلام أو الصور المجهرية، فالسؤال لا يقتصر على تحديد النموذج الأذكى. من المهم أيضًا معرفة مدى اتساق إجاباته وتكلفة تشغيله. أصدرت Artificial Analysis معيار VIALS-AA، وهو تطبيقها لمعيار Handshake AI، وجاءت نتائجه مختلفة بوضوح عن التصنيفات المعتادة.

كيف أُجري الاختبار

يضم المعيار 161 مهمة تستند إلى صور علمية، تشمل الرحلان الكهربائي الهلامي، وهضم البلازميدات بإنزيمات التقييد، وحساب التلامسات الكارهة للماء، وأشجار النشوء والتطور، وقياس التدفق الخلوي. ينفذ النموذج كل مهمة ثلاث مرات داخل إطار Stirrup المفتوح. ويتاح له تنفيذ التعليمات البرمجية واستخدام أداة لعرض الصور. المقياس الرئيسي هو pass^3، أي نسبة المهام التي كانت فيها عمليات التشغيل الثلاث كلها صحيحة. والمنطق بسيط: في العلوم، تؤدي الإجابة التي تتغير من تشغيل إلى آخر إلى استنتاجات خاطئة وتجارب مكررة مكلفة.

ما الذي أظهرته النتائج

احتل Gemini 4 Carbon (high) المركز الأول بنسبة 64%، إذ حل باستقرار 103 مهام من أصل 161. وجاء GPT-6 Astra (max) في المركز الثاني بفارق مهمتين. وتشكل نماذج Gemini 4 Carbon وGPT-6 Luna وGPT-6.1 Sol وGPT-6.1 Terra وGPT-6 Astra جبهة باريتو من حيث التوازن بين السعر والجودة.

تختلف التكلفة بصورة جذرية. تبلغ تكلفة GPT-6 Luna مقدار 0.02 دولار للمهمة، بينما يكلف Grok 4.7 (xhigh) مقدار 1.77 دولار. ويحقق GPT-6.1 Sol نسبة 59% مقابل 0.06 دولار، في حين يكلف Claude Opus 5.5، الذي يحقق نتيجة مقاربة تبلغ 61%، نحو ثلاثين مرة أكثر.

أما النتيجة الثانية فهي أن الاجتهاد لا يساوي الدقة. يحقق Claude Sonnet 5.5 وGPT-6.1 Sol نسبتي 60% و59% على التوالي، لكن Sonnet يجري عددًا من استدعاءات الأدوات أكبر بـ3.6 مرة، ويستهلك نحو 63.5 ألف رمز مخرجات، مقابل قرابة 2.5 ألف لدى Sol. ويعتمد Claude بكثافة على القياس: فهو يعاير النتائج وفق سلم العلامات ويستوفي الكتلة الجزيئية. أما GPT فيعتمد في أغلب الأحيان على الفحص السريع، وتنجح كلتا المقاربتين.

أين تخطئ النماذج

في مثال بقعة البروتين رقم 22، نفذ Grok 4.7 عددًا قدره 27 خطوة واستعرض الصورة 20 مرة، لكنه أجاب بـ50–70 kDa بدلًا من النطاق الصحيح البالغ 40–50. ووفقًا لمسار عمله، تعلق النموذج بالوسم «22» والسهم بدلًا من التركيز على البقعة الضعيفة نفسها. أما Sonnet ففصل بينهما: كان الوسم عند نحو 53 kDa، والبقعة عند نحو 48.7 kDa.

والأكثر إثارة للاهتمام تجربة GLM-5.3، الذي لا يملك قدرة رؤية أصلية. حمّل النموذج الصورة في مصفوفات، وطبق حدودًا على المناطق، وشغّل OCR، وطبع خرائط نصية. أنفق GLM-5.3 (max) عددًا قدره 54 خطوة و57 استدعاءً للشفرة، ثم قدم إجابة خاطئة. أما GLM-5.3-Flash الأخف، فنجح خلال 30 خطوة مع عشرة استعراضات للصورة.

الاستقرار أهم من النجاح لمرة واحدة

تنجح أفضل النماذج المفتوحة، مثل Kimi K3.1 Pro وMiMo-V2.6-Pro وMiniMax-M3.1-Flash، في حل ما بين 114 و119 مهمة مرة واحدة على الأقل، مقابل 111–118 مهمة لأفضل سبعة نماذج مغلقة. لكن عمليات التشغيل الثلاث تنجح جميعًا في 48–73 مهمة فقط، مقابل 95–103 مهام. تبلغ نتيجة pass^3 لدى Kimi K3.1 Pro نسبة 45%، مقابل 63% لدى GPT-6 Astra، رغم تقاربهما وفق مقياس pass@3.

وهناك تفصيل آخر: تشكل الاستدعاءات «الفارغة» نسبة 86.7% من استدعاءات Gemini 3.8 Flash، حيث تُستخدم الشفرة كدفتر ملاحظات للاستدلال.

كيفية الاستفادة من هذه النتائج

• قارن النماذج باستخدام pass^k، لا وفق أفضل محاولة. ففي بيئة الإنتاج، تهم قابلية تكرار النتائج.
• احسب تكلفة المهمة بدلًا من تكلفة الرمز: قد يصل الفارق بين النماذج ذات الجودة المتقاربة إلى 18–30 ضعفًا.
• لا تعتبر عدد الخطوات أو الأدوات مؤشرًا على الجودة. فالمسارات الطويلة غالبًا ما تعزز الخطأ الأولي.
• افحص النتائج حسب المجال: يتصدر Opus في اللطخ، وSonnet في عد الخلايا، وTerra في تراكيب البروتينات.

القيود: المعيار صغير نسبيًا، إذ يضم 161 مهمة، كما أن بعض النتائج جُمعت من نماذج لا تملك واجهة API عامة. يعتمد التقييم على إطار Stirrup المحدد، وقد يتغير الترتيب في بيئة أخرى. ومع ذلك، يمثل VIALS-AA مثالًا مفيدًا لتقييم موثوقية الوكلاء وتكلفتهم بإنصاف لمن يختار نموذجًا لخطوط العمل العلمية.