HumanEval
HumanEval é um benchmark de geração de código de 164 problemas de programação Python escritos à mão criado pela OpenAI em 2021, usado para medir a capacidade de um modelo de linguagem produzir código funcionalmente correto, pontuado via a métrica pass@k.
HumanEval é um conjunto de dados de benchmark para avaliar as capacidades de codificação de grandes modelos de linguagem, introduzido por Mark Chen e colegas da OpenAI no artigo de 2021 "Evaluating Large Language Models Trained on Code." Contém 164 desafios de programação Python artesanalmente elaborados, cada um consistindo em uma assinatura de função, um docstring em linguagem natural descrevendo a tarefa e um conjunto oculto de testes unitários. Um modelo passa em um problema se seu código gerado satisfaz todos os testes unitários sem modificação.
A métrica de avaliação primária é pass@k: a probabilidade estimada de que pelo menos uma solução em k amostras geradas passe em todos os testes. Pass@1 (uma única tentativa de geração) é mais comumente reportada porque é o proxy mais prático para uso no mundo real. Os problemas variam de manipulação simples de strings a algoritmos recursivos e tarefas básicas de estrutura de dados, deliberadamente modelados em exercícios reais de engenharia de software em vez de quebra-cabeças de programação competitiva, para que as pontuações reflitam a capacidade prática de codificação.
HumanEval tornou-se um padrão de facto para comparar sistemas de geração de código porque mede a correção funcional em vez de similaridade de texto de nível superficial. O modelo Codex da OpenAI marcou 28,8% pass@1 no lançamento do benchmark em 2021. GPT-4 alcançou aproximadamente 67% pass@1 em 2023, e em 2025–2026 modelos de fronteira como Claude 3.5 Sonnet e OpenAI o3 rotineiramente excedem 85–90%, indicando que o benchmark está se aproximando da saturação.
Apesar de suas limitações — um conjunto de problemas público e fixo vulnerável à contaminação de dados, escopo apenas Python e contextos de problemas relativamente curtos — HumanEval permanece uma citação de referência em artigos de lançamento de modelos e placar eletrônico comercial. Sua saturação impulsionou a adoção de sucessores mais difíceis como SWE-bench, LiveCodeBench e HumanEval+, que testam edição multi-arquivo, problemas reais do GitHub e robustez de casos extremos, respectivamente.