HumanEval

HumanEval es un conjunto de datos de referencia para evaluar las capacidades de codificación de grandes modelos de lenguaje, introducido por Mark Chen y colegas de OpenAI en el artículo de 2021 "Evaluating Large Language Models Trained on Code." Contiene 164 desafíos de programación Python elaborados a mano, cada uno consistente en una firma de función, una cadena de documentación en lenguaje natural que describe la tarea, y un conjunto de pruebas unitarias ocultas. Un modelo pasa un problema si su código generado satisface todas las pruebas unitarias sin modificación.

La métrica de evaluación principal es pass@k: la probabilidad estimada de que al menos una solución en k muestras generadas pase todas las pruebas. Pass@1 (un intento de generación único) es el más comúnmente reportado porque es el proxy más práctico para el uso en el mundo real. Los problemas van desde manipulación simple de cadenas hasta algoritmos recursivos y tareas básicas de estructuras de datos, deliberadamente modelados según ejercicios reales de ingeniería de software en lugar de acertijos de programación competitiva, de modo que las puntuaciones reflejen la capacidad práctica de codificación.

HumanEval se convirtió en un estándar de facto para comparar sistemas de generación de código porque mide la corrección funcional en lugar de la similitud de texto de nivel de superficie. El modelo Codex de OpenAI obtuvo una puntuación pass@1 del 28.8% en el lanzamiento del conjunto de referencia en 2021. GPT-4 alcanzó aproximadamente 67% pass@1 en 2023, y para 2025–2026 modelos de frontera como Claude 3.5 Sonnet y OpenAI o3 superan rutinariamente 85–90%, indicando que el conjunto de referencia se está acercando a la saturación.

A pesar de sus limitaciones—un conjunto de problemas fijo y público vulnerable a la contaminación de datos, alcance solo en Python, y contextos de problemas relativamente cortos—HumanEval sigue siendo una cita de base en documentos de lanzamiento de modelos y clasificaciones comerciales. Su saturación ha impulsado la adopción de sucesores más difíciles como SWE-bench, LiveCodeBench y HumanEval+, que prueban edición multi-archivo, problemas reales de GitHub y robustez de casos extremos respectivamente.

Ejemplo

“Cuando Anthropic publicó Claude 3.5 Sonnet, el informe técnico incluyó su puntuación HumanEval pass@1 junto con resultados de MATH y MMLU para que los desarrolladores pudieran comparar su capacidad de codificación directamente contra GPT-4o y Gemini 1.5 Pro en una base compartida.