Artificial Analysis lanza Intelligence Index v5: los modelos abiertos se quedan 12 puntos atrás

Artificial Analysis ha publicado Intelligence Index v5, la mayor actualización de su ranking compuesto desde enero. El índice incluye ahora nueve evaluaciones, y el 60% de su peso corresponde a pruebas con conjuntos privados o respuestas ocultas. Es una medida de protección frente a la filtración de datos en el entrenamiento. Claude Opus 5.5 (max) lidera con 58 puntos, aunque ningún modelo gana en las nueve pruebas.

Cómo se ha reconstruido el índice

La v5 trae dos benchmarks nuevos y tres actualizados. Cuatro categorías pesan un 25% cada una. La composición es la siguiente:

• Knowledge Work (25%): AA-Briefcase (15%), AutomationBench-AA (5%), GDP.pdf (5%).
• Coding (25%): FrontierCode 2.0 (15%) y Terminal-Bench 4.0 (10%).
• Science (25%): Terminal-Bench-Science (15%) y un subconjunto privado de CritPt v2 (10%).
• General (25%): AA-Omniscience v1.1 (15%: 10% precisión, 5% ausencia de alucinaciones) y HLE-Diamond (10%).

FrontierCode 2.0 es un benchmark privado de Cognition con 132 tareas en repositorios open source reales. Un resultado solo cuenta si el mantenedor aceptaría el cambio propuesto por el agente.

Si falla cualquier comprobación bloqueante, la puntuación es cero. Terminal-Bench-Science contiene 70 tareas de investigación en terminal, y una tarea se da por resuelta únicamente si pasan todos los tests. HLE-Diamond sustituye a Humanity's Last Exam: es una versión depurada de 1000 preguntas, elaborada por CAIS y Scale AI, repartidas a partes iguales entre razonamiento y conocimiento.

En AA-Omniscience v1.1 se eliminaron las preguntas saturadas y las públicas, se añadieron otras nuevas y se corrigieron las ambiguas. La puntuación media cayó unos 2 puntos.

CritPt v2 se evalúa con 40 preguntas cerradas, las más difíciles de un total de 70 de física: se descartaron las 30 que siete modelos de frontera resolvieron en los cinco intentos.

GDPval-AA v2.1, SciCode y AA-LCR v1.1 salen del índice. Se mantienen AA-Briefcase, AutomationBench-AA, GDP.pdf y Terminal-Bench 4.0.

Quién va por delante y quién se queda atrás

Los cinco primeros puestos son para modelos de Anthropic y OpenAI. Gemini 4 Argon (high) viene a continuación con 50.

• Claude Opus 5.5 (max): 58 en total. Lidera FrontierCode 2.0 (46%), HLE-Diamond (68%) y AA-Omniscience v1.1 (48). Cuesta $10.04 por tarea del índice.
• GPT-6 Astra (max): 57. El mejor en Terminal-Bench-Science (63%) y CritPt v2 (72% con high effort). $6.24 por tarea.
• GPT-6.1 Sol (max): 55. $1.27 por tarea.
• GPT-6.1 Terra (max): la más barata de las diez primeras, con $0.96 por tarea.
• Claude Fable 5.1 (max): la más cara, con $13.04. En HLE-Diamond obtuvo un 60%.
• Claude Sonnet 5.5: líder de AA-Briefcase (1812 Elo) y 42% en FrontierCode 2.0.
• Kimi K3.1 Pro: el mejor en Terminal-Bench 4.0 (67%) y el mejor modelo abierto en conjunto (46), aunque sus pesos todavía no se han publicado.
• Gemini 4 Argon: líder de AutomationBench-AA (78%).
• Muse Wonder Full: líder de GDP.pdf (33% all-pass).
• DeepSeek V4.1 Flash 1017 y GLM-5.3 (max): 32 puntos cada uno, los mejores entre los modelos abiertos con pesos publicados. DeepSeek logra un 28% en FrontierCode 2.0 y un 13% en Terminal-Bench-Science.
• Claude Haiku 5.5 (max): 36, es decir, por encima de cualquier modelo con pesos abiertos. En Terminal-Bench-Science obtuvo un 20%.

La distancia de los modelos abiertos ha crecido de 3 puntos en la v4.3 a 12. Es más evidente en HLE-Diamond (Kimi K3.1 Pro, 37% frente a 68%) y en Terminal-Bench-Science (34% frente a 63%). Si solo se cuentan los modelos con pesos publicados, el retraso es de 26 puntos. La mayoría de los modelos abiertos obtuvo menos de un 10% en Terminal-Bench-Science.

El precio de la inteligencia y el apetito por tokens

GPT-6.1 Sol queda solo 3 puntos por debajo de Opus 5.5 con un coste por tarea unas ocho veces menor. El modo de esfuerzo influye ahora mucho más. Opus 5.5 logra 35 en low y 58 en max, y el coste se multiplica por diez ($0.98 frente a $10.04). La diferencia entre modos en Sonnet 5.5 ha pasado de 20 a 29 puntos; en GPT-6.1 Sol, de 10 a 20.

Las tareas se han vuelto más pesadas. La mediana de tokens de salida por tarea ha aumentado dos tercios, de 35k a 59k. Las pruebas agénticas (Terminal-Bench-Science, Terminal-Bench 4.0, AA-Briefcase, FrontierCode 2.0) suponen el 55% del peso, pero generan cerca del 90% de los tokens. Solo Terminal-Bench-Science consume aproximadamente un tercio.

Por separado se ha lanzado Progress Index v1. Sitúa en una única escala continua los modelos aparecidos desde noviembre de 2022, de modo que permite comparar modelos separados por años. Para elegir un modelo para las tareas actuales sigue siendo necesario el Intelligence Index. En su desarrollo, los autores se apoyaron en el Epoch Capabilities Index y dieron las gracias a Epoch AI y a Anthropic.

La conclusión práctica para los equipos: elegir un modelo por su puntuación global ya no basta. Para automatizar código y ciencia conviene mirar FrontierCode 2.0 y Terminal-Bench-Science, y para ajustar el presupuesto hay que calcular el coste por tarea y el modo de esfuerzo. Los modelos abiertos sirven por ahora para escenarios sencillos, pero se quedan muy atrás en cadenas agénticas largas. Antes de pasar a producción, merece la pena ejecutar las tareas propias en varios modos de esfuerzo.