MMLU

MMLU (Massive Multitask Language Understanding) es un punto de referencia de evaluación de modelos de lenguaje introducido por Dan Hendrycks y colegas en UC Berkeley en un artículo de 2020. Comprende aproximadamente 14,042 preguntas de cuatro opciones extraídas de 57 áreas temáticas que abarcan STEM, humanidades, derecho, ciencias sociales y dominios profesionales que incluyen medicina y contabilidad. Las preguntas se extraen de exámenes académicos reales, pruebas estandarizadas y libros de texto, dirigidas al conocimiento que se espera que posea un experto ampliamente educado.

El desempeño se reporta como el porcentaje de respuestas correctas, típicamente en una configuración de 5 disparos donde el modelo recibe cinco pares de pregunta-respuesta de ejemplo antes de cada pregunta de prueba. Una línea de base aleatoria es 25%; el desempeño humano no experto es aproximadamente 34%; el desempeño estimado de expertos en dominio es aproximadamente 89–90%. GPT-3 (175B) puntuó alrededor del 43% en su lanzamiento de 2020. Siguió un crecimiento rápido de capacidad: GPT-4 superó el 86% en 2023, y múltiples modelos fronterizos incluyendo Gemini Ultra, Claude 3 Opus y Llama 3 405B posteriormente puntuaron en el rango del 85–90%.

La amplitud de MMLU la hizo el punto de referencia dominante para la comparación de modelos entre organizaciones durante varios años. Reveló saltos claros de capacidad vinculados a la escala del modelo y las mejoras de entrenamiento, y fue citado rutinariamente en informes de lanzamiento de modelos como una señal de capacidad general primaria. Sin embargo, ha enfrentado críticas significativas: evidencia de contaminación de datos de entrenamiento (preguntas de prueba que aparecen en corpus de preentrenamiento), efectos de techo entre los mejores modelos y preocupaciones de que el desempeño de opción múltiple puede reflejar coincidencia de patrones de nivel superficial en lugar de razonamiento genuino.

A partir de 2026, MMLU retiene su papel como referencia histórica y línea de base comparativa pero es cada vez más complementado por variantes más difíciles como MMLU-Pro, que utiliza distractores más difíciles y requiere razonamiento de varios pasos, y por puntos de referencia como GPQA y ARC-AGI para discriminar entre modelos fronterizos. Su valor principal restante es proporcionar una escala común contra la cual se pueden posicionar los modelos antiguos y nuevos.

Ejemplo

“Un equipo de investigación que compara tres modelos de pesos abiertos contra GPT-4 reporta la precisión MMLU de 5 disparos de cada modelo junto con puntuaciones específicas de tareas; un modelo que puntúa el 88% se describe como cayendo dentro del rango de clase GPT-4 en conocimiento académico amplio.