معيار تقييم توليد الأكواد البشري (HumanEval)

معيار HumanEval هو معيار توليد أكواد يتضمن 164 مسألة برمجية بلغة Python من تأليف OpenAI عام 2021، يُستخدم لقياس قدرة نموذج لغة على إنتاج أكواد صحيحة وظيفيًا، مع التقييم عبر معيار pass@k.

معيار HumanEval هو مجموعة بيانات معايير لتقييم قدرات البرمجة لنماذج اللغة الكبيرة، قدمتها Mark Chen وزملاؤها في OpenAI في ورقة عام 2021 بعنوان "تقييم نماذج اللغة الكبيرة المدربة على الأكواد". يحتوي على 164 تحديًا برمجيًا بلغة Python من صنع اليد، يتكون كل منها من توقيع دالة ودستور باللغة الطبيعية يصف المهمة ومجموعة مخفية من اختبارات الوحدة. يمرر النموذج المسألة إذا كان الكود المُولد يرضي جميع اختبارات الوحدة بدون تعديل.

معيار التقييم الأساسي هو pass@k: الاحتمالية المقدرة بأن حل واحد على الأقل من عينات k المُولدة يجتاز جميع الاختبارات. يتم الإبلاغ عن Pass@1 (محاولة توليد واحدة) بشكل متكرر لأنه البديل العملي الأكثر واقعية للاستخدام في الواقع. تتراوح المشاكل من معالجة النصوص البسيطة إلى الخوارزميات العودية ومهام البنية الأساسية للبيانات، مصممة عن قصد على تمارين هندسة البرمجيات الحقيقية بدلاً من ألغاز البرمجة التنافسية، بحيث تعكس الدرجات القدرة على البرمجة العملية.

أصبح معيار HumanEval معيارًا فعليًا لمقارنة أنظمة توليد الأكواد لأنه يقيس صحة الوظائف بدلاً من تشابه النصوص السطحي. حقق نموذج Codex من OpenAI 28.8٪ pass@1 عند إطلاق المعيار عام 2021. وصل GPT-4 إلى حوالي 67٪ pass@1 في عام 2023، وفي الفترة من 2025 إلى 2026 تتجاوز نماذج الحدود مثل Claude 3.5 Sonnet و OpenAI o3 بشكل روتيني 85–90٪، مما يشير إلى أن المعيار يقترب من التشبع.

على الرغم من قيوده — مجموعة مشاكل ثابتة وعامة عرضة لتلوث البيانات ونطاق Python فقط وسياقات مشاكل قصيرة نسبيًا — يبقى معيار HumanEval اقتباسًا أساسيًا في أوراق إطلاق النماذج ولوحات المفاضلة التجارية. قاد تشبعه إلى اعتماد خلفاء أصعب مثل SWE-bench و LiveCodeBench و HumanEval+، التي تختبر تحرير الملفات متعددة الملفات ومشاكل GitHub الحقيقية وقوة حالات الحافة على التوالي.