Benchmark
Um benchmark é um conjunto de teste padronizado usado para medir e comparar o desempenho de modelos de IA em tarefas definidas. Pontuações de benchmark fornecem uma escala comum para rastrear progresso entre modelos e comunicar declarações de capacidade para pesquisadores, clientes e reguladores.
Em IA, um benchmark é um conjunto de dados curado de inputs emparelhados com outputs esperados ou critérios de avaliação, administrado sob condições consistentes a diferentes modelos. Benchmarks abrangem uma ampla gama de tarefas: compreensão de leitura (SQuAD), raciocínio de senso comum (HellaSwag), codificação (HumanEval), matemática (MATH), conhecimento amplo (MMLU — Massive Multitask Language Understanding) e sondas específicas de segurança. Um resultado de benchmark é tipicamente um único número — precisão percentual, taxa de sucesso ou similar — permitindo comparação direta entre sistemas e ao longo do tempo.
A administração de benchmark envolve apresentar os mesmos prompts a cada modelo sob condições equivalentes (mesmo orçamento de token, mesma temperatura de amostragem, mesmos exemplos few-shot se houver) e pontuar respostas contra verdade fundamental. Métodos de pontuação variam por tarefa: correspondência exata automática para tarefas factuais, taxas de sucesso de teste unitário para geração de código, ou julgamento humano ou baseado em modelo para tarefas abertas. Meta-benchmarks como HELM (Holistic Evaluation of Language Models, Stanford) e BIG-bench agregam muitos benchmarks individuais em perfis compostos, reduzindo o risco de manipulação de qualquer métrica única.
Benchmarks foram o veículo primário para comunicar progresso de IA e permitem comparação objetiva e reproduzível de sistemas construídos por organizações diferentes. A pontuação MMLU do GPT-4 de aproximadamente 86% em 2023 representou uma melhoria grande sobre GPT-3.5 em aproximadamente 70%, alcançada dentro de um único ano, ilustrando o ritmo de avanço de capacidade durante este período. Discussões regulatórias cada vez mais referenciam desempenho de benchmark como evidência de capacidade de sistema e nível de risco, tornando metodologia de benchmark uma questão de política bem como pesquisa.
A partir de 2026, um problema bem-reconhecido é saturação de benchmark: modelos líderes pontuam próximo do teto em testes estabelecidos como MMLU (90%+) e HumanEval (95%+), reduzindo seu valor discriminativo. O campo respondeu com sucessores mais difíceis — MMLU-Pro, GPQA (Graduate-Level Google-Proof Q&A), LiveCodeBench para tarefas de codificação do mundo real, e ARC-AGI para raciocínio abstrato. Contaminação — dados de treinamento inadvertidamente contendo questões de benchmark — permanece uma preocupação persistente, impulsionando interesse em benchmarks dinâmicos e mantidos por organizações como o U.S. AI Safety Institute.