Benchmark
Un benchmark es un conjunto de pruebas estandarizado utilizado para medir y comparar el desempeño de modelos de IA en tareas definidas. Las puntuaciones de benchmark proporcionan una escala común para hacer un seguimiento del progreso entre modelos y comunicar afirmaciones de capacidad a investigadores, clientes y reguladores.
En IA, un benchmark es un conjunto de datos curados de entradas emparejadas con salidas esperadas o criterios de evaluación, administrado bajo condiciones consistentes a diferentes modelos. Los benchmarks abarcan una amplia gama de tareas: comprensión lectora (SQuAD), razonamiento de sentido común (HellaSwag), codificación (HumanEval), matemáticas (MATH), conocimiento amplio (MMLU—Comprensión Multitarea Masiva de Lenguaje) y sondas específicas de seguridad. Un resultado de benchmark es típicamente un número único—porcentaje de precisión, tasa de aprobación o similar—habilitando comparación directa entre sistemas y a lo largo del tiempo.
La administración de benchmarks implica presentar los mismos prompts a cada modelo bajo condiciones equivalentes (mismo presupuesto de tokens, misma temperatura de muestreo, los mismos ejemplos few-shot si hay alguno) y calificar respuestas contra la verdad de referencia. Los métodos de calificación varían según la tarea: coincidencia exacta automática para tareas fácticas, tasas de aprobación de pruebas unitarias para generación de código, o juicio humano o basado en modelos para tareas abiertas. Los meta-benchmarks como HELM (Evaluación Holística de Modelos de Lenguaje, Stanford) y BIG-bench agregan muchos benchmarks individuales en perfiles compuestos, reduciendo el riesgo de gaming de cualquier métrica única.
Los benchmarks han sido el vehículo principal para comunicar el progreso de la IA y permiten la comparación objetiva y reproducible de sistemas construidos por diferentes organizaciones. La puntuación MMLU de GPT-4 de aproximadamente 86% en 2023 representó una gran mejora sobre GPT-3.5 en aproximadamente 70%, lograda dentro de un año, ilustrando el ritmo del avance de capacidad durante este período. Las discusiones regulatorias cada vez más hacen referencia al desempeño de benchmark como evidencia de capacidad y nivel de riesgo del sistema, haciendo que la metodología de benchmark sea una cuestión de política así como de investigación.
A partir de 2026, un problema bien reconocido es la saturación de benchmarks: los modelos líderes califican cerca del techo en pruebas establecidas como MMLU (90%+) y HumanEval (95%+), reduciendo su valor discriminativo. El campo ha respondido con sucesores más difíciles—MMLU-Pro, GPQA (Preguntas y Respuestas Verificadas de Nivel de Postgrado de Google), LiveCodeBench para tareas de codificación del mundo real, y ARC-AGI para razonamiento abstracto. La contaminación—datos de entrenamiento que inadvertidamente contienen preguntas de benchmark—sigue siendo una preocupación persistente, impulsando el interés en benchmarks dinámicos y separados mantenidos por organizaciones como el Instituto de Seguridad de IA de EE.UU.