تبدأ 23 نوفمبرالدفعة المباشرة 3 من Vibe Coding ووكلاء الذكاء الاصطناعي: 3 أسابيع و9 جلسات حيةالدفعة 3 (23.11) →
الأعمالالمسرد

MMLU

MMLU (الفهم اللغوي الشامل متعدد المهام) هو معيار لتقييم نماذج اللغة على حوالي 14,000 سؤال متعدد الاختيارات عبر 57 موضوعاً أكاديمياً — من حساب التفاضل والطب إلى القانون والأخلاقيات — مما يوفر مقياساً موحداً للمعرفة الواسعة والاستدلال.

MMLU
MMLU · الأعمال · Hamidun News

MMLU (الفهم اللغوي الشامل متعدد المهام) هو معيار تقييم نماذج اللغة الذي أطلقه دان هندريكس وزملاؤه في جامعة بيركلي في ورقة بحثية عام 2020. يتكون من حوالي 14,042 سؤالاً من أربع اختيارات مستمدة من 57 مجالاً موضوعياً يغطي العلوم والهندسة والعلوم الإنسانية والقانون والعلوم الاجتماعية والمجالات المهنية بما فيها الطب والمحاسبة. يتم استخراج الأسئلة من امتحانات أكاديمية حقيقية واختبارات موحدة وكتب مدرسية، موجهة للمعرفة التي يتوقع من خبير متعلم على نطاق واسع أن يمتلكها.

يتم الإبلاغ عن الأداء كنسبة مئوية من الإجابات الصحيحة، عادة في إعداد 5-shot حيث يتلقى النموذج خمس أمثلة على أسئلة وإجابات قبل كل سؤال اختبار. الحد الأدنى العشوائي هو 25٪؛ أداء الإنسان غير الخبير حوالي 34٪؛ أداء خبير المجال المقدرة حوالي 89–90٪. سجل GPT-3 (175B) حوالي 43٪ عند إطلاقه في عام 2020. تبع ذلك نمو قدرة سريع: تجاوز GPT-4 86٪ في عام 2023، وسجلت نماذج حدودية متعددة بما فيها Gemini Ultra و Claude 3 Opus و Llama 3 405B في النطاق 85–90٪.

جعل نطاق MMLU الواسع المعيار السائد لمقارنة النماذج بين المنظمات لعدة سنوات. كشف عن قفزات واضحة في القدرات المرتبطة بحجم النموذج وتحسينات التدريب، وتم الاستشهاد به بشكل روتيني في تقارير إصدار النموذج كإشارة أساسية على القدرة العامة. ومع ذلك، واجه انتقادات كبيرة: أدلة على تلوث بيانات التدريب (ظهور أسئلة الاختبار في مدونات التدريب المسبق)، وتأثيرات السقف بين أفضل النماذج، والقلق من أن أداء متعدد الاختيارات قد تعكس التطابق النمطي السطحي بدلاً من التفكير الحقيقي.

اعتباراً من عام 2026، يحتفظ MMLU بدوره كمرجع تاريخي وخط أساس مقارن لكن يتم استكماله بشكل متزايد بمتغيرات أصعب مثل MMLU-Pro، التي تستخدم عوامل تشتيت أكثر صعوبة وتتطلب استدلال متعدد الخطوات، وبمعايير مثل GPQA و ARC-AGI لتمييز بين النماذج الحدودية. قيمتها المتبقية الرئيسية هي توفير مقياس مشترك يمكن من خلاله وضع النماذج القديمة والجديدة في موضع.

مثال

“يبلغ فريق بحثي يقارن ثلاث نماذج مفتوحة الوزن مقابل GPT-4 عن دقة MMLU 5-shot لكل نموذج جنباً إلى جنب مع الدرجات الخاصة بالمهام؛ يوصف النموذج الذي يسجل 88٪ بأنه يقع ضمن نطاق فئة GPT-4 في المعرفة الأكاديمية الواسعة.
ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent