HumanEval

HumanEval — бенчмарк для оценки способности языковых моделей генерировать корректный код, созданный OpenAI в 2021 году. Набор содержит 164 задачи на Python с автоматической проверкой через unit-тесты; ключевая метрика — pass@k (доля задач, решённых хотя бы раз из k попыток).

HumanEval — набор задач для оценки качества генерации кода языковыми моделями, разработанный командой OpenAI и представленный в 2021 году вместе с моделью Codex. Бенчмарк содержит 164 задачи на Python: каждая включает сигнатуру функции, docstring и набор unit-тестов для автоматической верификации решений.

Модель получает сигнатуру и документацию функции и должна сгенерировать её тело. Корректность проверяется запуском тестов без участия человека. Основная метрика — pass@k: доля задач, для которых хотя бы одно из k сгенерированных решений проходит все тесты. Наиболее распространён показатель pass@1 — вероятность того, что первое предложенное решение верно. Оригинальный Codex при выходе в 2021 году показал pass@1 около 28,8%.

HumanEval стал одним из первых стандартизированных бенчмарков для code generation и ввёл единый воспроизводимый протокол сравнения моделей. До его появления оценка кода сводилась к субъективным экспертным суждениям или разнородным соревновательным задачам. Бенчмарк был принят практически всеми ведущими лабораториями и вошёл в обязательный набор отчётности при выпуске новых систем.

К 2025–2026 годам большинство крупных моделей превысили отметку 85–90% pass@1, что фактически насытило бенчмарк и сделало его малоинформативным для разграничения лучших систем. Индустрия переключилась на более сложные наборы: HumanEval+ с расширенными тестами, LiveCodeBench с актуальными задачами из соревнований и SWE-bench для оценки работы с реальными репозиториями. Тем не менее HumanEval сохраняет роль исторической базовой линии.