LM Arena — ساحة نماذج اللغة
منصة LM Arena هي منصة تقييم ذكاء اصطناعي يعتمد على الحشود حيث يقارن المستخدمون استجابات نموذجين مجهولي الهوية جنبًا إلى جنب ويصوتون على الأفضل، مما يولد لوحة مفاضلة مبنية على تصنيف Elo لجودة نموذج اللغة عبر الموجهات الحقيقية ومفتوحة النهاية.
LM Arena هي منصة تقييم ذكاء اصطناعي تعتمد على الحشود، يقارن فيها المستخدمون استجابات نموذجين مجهولي الهوية جنباً إلى جنب ويصوّتون للأفضل، مما يولّد لوحة صدارة مبنية على تصنيف Elo لجودة نماذج اللغة عبر موجّهات حقيقية مفتوحة النهاية.
يتم حساب التصنيفات باستخدام نموذج تصنيف Bradley-Terry أو Elo، نفس الإطار الإحصائي المستخدم في تصنيفات الشطرنج. لأن كل صوت يحدث التصنيفات بالنسبة لقوة النماذج المعنية، فإن النظام قوي في مواجهة التنوع الكبير في صعوبة الموجهات المقدمة من قبل المستخدمين المختلفين. بحلول عام 2025 تراكمت المنصة على عشرات الملايين من تصويتات التفضيل البشري عبر ساحات النص والرؤية والترميز، مما يشكل واحدة من أكبر مجموعات بيانات التفضيل البشري المتاحة علنًا لتقييم نماذج اللغة.
تعالج منصة LM Arena الفجوة التي تركتها المعايير الثابتة: فهي تلتقط حكمًا إنسانيًا مفتوح النهاية عبر موجهات متنوعة وطبيعية الحدوث بدلاً من مجموعات اختبارات محددة مسبقًا قد يحسنها المطورون. أصبحت لوحة المفاضلة الخاصة بها مرجعًا قياسيًا في إعلانات إطلاق النماذج من OpenAI و Google و Anthropic و Meta و Mistral، وتؤثر بشكل واضح على النماذج التي يختارها الممارسون للنشر الإنتاجي. تشمل القيود المعروفة انحيازًا للمستخدمين الناطقين باللغة الإنجليزية والمتعلمين تقنيًا، والإفراط في تمثيل الترميز والأسئلة والأجوبة الحقيقية بالنسبة إلى الطيف الكامل للتطبيقات في العالم الحقيقي.
بحلول عام 2026، توسعت المنصة إلى ما وراء النص إلى ساحات مخصصة لفهم الرؤية ومهام الترميز، وقد حللت الأعمال الأكاديمية كيف تتنبأ درجات Arena Elo بالأداء على معايير متخصصة لاحقة، وجدت ارتباطًا معتدلًا ولكن غير كامل اعتمادًا على المجال.