Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
NegóciosGlossário

HumanEval

HumanEval é um benchmark de geração de código de 164 problemas de programação Python escritos à mão criado pela OpenAI em 2021, usado para medir a capacidade de um modelo de linguagem produzir código funcionalmente correto, pontuado via a métrica pass@k.

HumanEval
HumanEval · Negócios · Hamidun News

HumanEval é um conjunto de dados de benchmark para avaliar as capacidades de codificação de grandes modelos de linguagem, introduzido por Mark Chen e colegas da OpenAI no artigo de 2021 "Evaluating Large Language Models Trained on Code." Contém 164 desafios de programação Python artesanalmente elaborados, cada um consistindo em uma assinatura de função, um docstring em linguagem natural descrevendo a tarefa e um conjunto oculto de testes unitários. Um modelo passa em um problema se seu código gerado satisfaz todos os testes unitários sem modificação.

A métrica de avaliação primária é pass@k: a probabilidade estimada de que pelo menos uma solução em k amostras geradas passe em todos os testes. Pass@1 (uma única tentativa de geração) é mais comumente reportada porque é o proxy mais prático para uso no mundo real. Os problemas variam de manipulação simples de strings a algoritmos recursivos e tarefas básicas de estrutura de dados, deliberadamente modelados em exercícios reais de engenharia de software em vez de quebra-cabeças de programação competitiva, para que as pontuações reflitam a capacidade prática de codificação.

HumanEval tornou-se um padrão de facto para comparar sistemas de geração de código porque mede a correção funcional em vez de similaridade de texto de nível superficial. O modelo Codex da OpenAI marcou 28,8% pass@1 no lançamento do benchmark em 2021. GPT-4 alcançou aproximadamente 67% pass@1 em 2023, e em 2025–2026 modelos de fronteira como Claude 3.5 Sonnet e OpenAI o3 rotineiramente excedem 85–90%, indicando que o benchmark está se aproximando da saturação.

Apesar de suas limitações — um conjunto de problemas público e fixo vulnerável à contaminação de dados, escopo apenas Python e contextos de problemas relativamente curtos — HumanEval permanece uma citação de referência em artigos de lançamento de modelos e placar eletrônico comercial. Sua saturação impulsionou a adoção de sucessores mais difíceis como SWE-bench, LiveCodeBench e HumanEval+, que testam edição multi-arquivo, problemas reais do GitHub e robustez de casos extremos, respectivamente.

Exemplo

“Quando a Anthropic publicou Claude 3.5 Sonnet, o relatório técnico incluiu sua pontuação HumanEval pass@1 junto com os resultados de MATH e MMLU para que desenvolvedores pudessem fazer benchmark de sua capacidade de codificação diretamente contra GPT-4o e Gemini 1.5 Pro em uma linha de base compartilhada.

Últimas notícias sobre o tema

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent