تقييم نماذج الذكاء الاصطناعي أصبح أغلى من تدريبها: عائق جديد أمام الباحثين

يكلّف إجراء تقييم كامل لوكيل ذكاء اصطناعي في عام 2026 ما بين 2 800 و40 000 دولار للتشغيلة الواحدة. ونشرت EvalEval Coalition تقريرًا موسّعًا خلص إلى أن الاختبار المعياري (benchmarking) لم يعد بندًا في الميزانية إلى جانب تدريب النموذج، بل تحوّل إلى عائق حوسبي ومالي قائم بذاته، بكل ما يترتب على ذلك من تبعات على استقلالية التقييم.

أرقام الاختبارات المعيارية

جمع الباحثون بيانات محددة عن ثمانية أنظمة تقييم واسعة الاستخدام:

• HAL (لوحة الصدارة الوكيلية الشاملة) — 40 000 دولار مقابل 21 730 تشغيلة على 9 نماذج و9 اختبارات معيارية
• GAIA — حتى 2 829 دولارًا للتشغيلة الواحدة دون تخزين مؤقت (caching)
• PaperBench — من 4 200 إلى 9 500 دولار بحسب البروتوكول
• The Well (تعلّم الآلة لمسائل الفيزياء) — نحو 2 400 دولار لكل بنية، ونحو 9 600 دولار للمسح الكامل (sweep)
• MLE-Bench — نحو 5 500 دولار لكل seed واحد (75 مهمة من Kaggle × 24 ساعة على GPU + API)

تعادل تشغيلة GAIA الواحدة ميزانية السفر السنوية المعتادة لطالب دراسات عليا. أما مقارنة ثلاث تشغيلات seed لستة نماذج فتكلّف نحو 150 000 دولار. وبعض الاختبارات يتطلب تدريبًا فعليًا، وفيها تفوق التكلفة الحوسبية للتقييم تكلفة التدريب نفسه بنحو مئة ضعف.

لماذا لا يمكن ضغط الاختبارات الوكيلية؟

أما في الاختبارات اللغوية الثابتة، فتقنيات الضغط تعمل منذ زمن: يختزل Flash-HELM الاختبار بمقدار 100–200 مرة دون فقدان دقة الترتيب، وقلّص tinyBenchmarks مجموعة MMLU من 14 000 مثال إلى 100 بهامش خطأ نحو 2%.

لكن الاختبارات الوكيلية تقاوم التقنيات نفسها. فتكلفة المهام داخل الاختبار الوكيلي الواحد تتفاوت بمقدار 10 000 مرة. ومع ذلك فالمهام الباهظة لا تعطي نتائج أدق بالتناسب: ففي Mind2Web يقابل فارق السعر بمقدار 9 أضعاف فارق دقة لا يتجاوز 2%. وأقصى أثر للضغط هو 2–3,5 مرة، أي أضعف بمرتبتين من الاختبارات الثابتة.

وهناك مضاعِف إضافي هو الموثوقية. فقد حقق النموذج نفسه على τ-bench نسبة 60% في تشغيلة واحدة، و25% فقط في ثماني تشغيلات. والقياس الموثوق إحصائيًا يتطلب k=8 تكرارات على الأقل، ما يضاعف التكلفة تلقائيًا ثماني مرات: اختبار بقيمة 10 000 دولار يصبح 80 000 دولار.

«يُعتقد عادةً أن القيد الرئيسي هو قدرات النموذج. لكن التقييم يشير إلى أن عنق الزجاجة الحقيقي هو الموثوقية»، بحسب

EvalEval Coalition.

التحقق المستقل يتحول إلى امتياز

عندما تبلغ كلفة ثلاث تشغيلات seed لستة نماذج 150 000 دولار، تخرج المجموعات الأكاديمية فعليًا من المنافسة. فلا يملك ميزانيات التقييم الموثوق إحصائيًا سوى المختبرات الكبرى، وهي نفسها التي تبني الأنظمة قيد التقييم. وهذا تضارب مصالح بنيوي: فالتحقق الخارجي يختفي لا لأن أحدًا لا يريده، بل لأنه لا يوجد من يموّله.

وتقترح EvalEval Coalition حلًا عمليًا: التوقف عن إعادة تشغيل الاختبارات نفسها مرارًا. فاليوم تبدأ كل مجموعة من الصفر، لأن نتائج الآخرين مدفونة في أوراق PDF بلا بيانات قابلة للقراءة الآلية. وأطلق التحالف مشروع Every Eval Ever، وهو مستودع على Hugging Face تُودَع فيه النتائج مع البيانات الوصفية الكاملة والسجلات والمعاملات. وتشير الحسابات إلى أن إعادة استخدام البيانات مرتين فقط توفّر أكثر مما توفّره جميع تقنيات الضغط مجتمعة.

ماذا يعني ذلك

انقلب اقتصاد تقييم الذكاء الاصطناعي: لم يعد التقييم بندًا صغيرًا في الميزانية، بل صار بندًا تشغيليًا رئيسيًا وأداة نفوذ. ومن يستطيع دفع كلفة الاختبار المعياري هو من يكتب لوحة الصدارة. وإذا واصل التحقق المستقل ارتفاع كلفته، فقد تتركّز الرقابة الخارجية على أنظمة الذكاء الاصطناعي بالكامل في أيدي المختبرات التي تبني هذه الأنظمة.