Humanity's Last Exam: por qué critican el principal benchmark de IA del CAIS como una distracción

Desde su publicación en enero de 2025, el benchmark Humanity's Last Exam (HLE) se ha convertido en una de las herramientas más comentadas para evaluar sistemas de IA y, a la vez, en una de las más criticadas. Los analistas de KDnuggets reunieron un abanico de opiniones expertas y concluyeron que la prueba distrae a la comunidad de lo importante más de lo que le ofrece una referencia útil.

Qué es Humanity's Last Exam

HLE fue creado conjuntamente por la organización sin ánimo de lucro Center for AI Safety (CAIS) y la empresa Scale AI. El benchmark contiene 3000 preguntas de nivel doctoral en más de 100 disciplinas académicas: matemáticas, biología molecular, lenguas clásicas, historia de la ciencia y decenas de campos más. Cientos de profesores y estudiantes de posgrado de todo el mundo redactaron y verificaron las preguntas.

Datos clave:

• Fecha de lanzamiento: enero de 2025
• Autores: Center for AI Safety y Scale AI
• Tamaño: 3000 preguntas, más de 100 disciplinas
• Mejor resultado al inicio: cerca del 18% para OpenAI o3
• GPT-4o: cerca del 3%; Claude 3.5 Sonnet: cerca del 8%
• Las preguntas fueron redactadas y revisadas por cientos de científicos

Los autores tenían un objetivo claro: demostrar que los modelos actuales aún están lejos del nivel de los expertos humanos en las tareas cognitivas más difíciles. En 2024–2025, las demostraciones públicas de IA a menudo daban la ilusión de que la AGI estaba cerca. HLE fue el contraargumento: «mirad lo lejos que aún estamos».

Por qué se acusa a HLE de ser una distracción

La principal queja de los críticos es la irrelevancia. La prueba examina el conocimiento de datos académicos poco frecuentes: teoremas oscuros de hace dos siglos, citas exactas de textos sánscritos, reacciones bioquímicas específicas. Una puntuación baja en esta prueba no significa que el modelo escriba mal código, analice mal datos, sintetice mal investigaciones o ayude poco en un diagnóstico médico.

El segundo argumento recurre a la ley de Goodhart, bien conocida en la ciencia: cuando una medida se convierte en objetivo, deja de ser una medida fiable. Si los principales laboratorios de IA empiezan, de forma explícita o implícita, a optimizar sus modelos para HLE, las puntuaciones subirán sin que aumente la utilidad real de los productos. Eso es justo lo que ocurrió con MMLU y otros benchmarks anteriores.

«Necesitamos pruebas que midan cuánto me ayuda la IA a trabajar mejor,

no cuánto sabe de rarezas académicas».

La tercera línea de crítica se refiere a la transparencia: las preguntas de HLE son secretas, lo que dificulta enormemente la reproducción independiente de los resultados y la auditoría externa.

Qué dicen los defensores de HLE

Los defensores del benchmark recuerdan su propósito original: HLE nunca pretendió evaluar la utilidad de los productos. Su misión es medir el techo de los sistemas actuales en áreas cognitivamente difíciles donde la pericia humana aún no se ha reproducido. Desde ese punto de vista, la prueba cumplió: enfrió parte del bombo y dio a periodistas, inversores y reguladores un argumento visible contra declarar prematuramente la AGI.

Además, los creadores señalan que las pruebas extremadamente difíciles crean un «margen de seguridad». Cuando los modelos empiecen a alcanzar entre el 50% y el 70% en HLE, será una auténtica señal de alarma y no ruido de marketing.

Qué significa

Humanity's Last Exam cumplió su primera tarea: mostró los límites de los sistemas de IA actuales en problemas académicamente difíciles. Pero como referencia a largo plazo del progreso suscita dudas fundadas: optimizar para rarezas académicas no conduce a una utilidad real. Una evaluación útil del progreso de la IA exige benchmarks que prueben escenarios reales: escribir código, analizar datos, asistencia médica, análisis jurídico. Mientras la elección de referencias siga siendo académica, el debate sobre el «nivel real de la IA» corre el riesgo de girar en su propio vacío.

Preguntas frecuentes

¿Qué resultado obtuvo OpenAI o3 en Humanity's Last Exam?

Según el lanzamiento de enero de 2025, OpenAI o3 acertó cerca del 18% de las respuestas, el mejor resultado entre los modelos probados en el momento de la publicación. La mayoría de los demás sistemas punteros, incluidos GPT-4o y Claude 3.5 Sonnet, se quedaron en un rango del 3% al 8%.

¿Quién creó el benchmark HLE y para qué?

El benchmark fue desarrollado conjuntamente por el Center for AI Safety (CAIS) y Scale AI. Los autores querían mostrar que los sistemas de IA actuales aún no han alcanzado el nivel de los mejores especialistas humanos en tareas cognitivas complejas y enfriar las expectativas infladas en torno a la AGI.