Artificial Analysis lanza Decision Index: Jev 1.13 lidera con 58 puntos

Artificial Analysis lanzó el 13 de octubre de 2026 Decision Index v1.0, un benchmark para modelos de decisión. Con ese nombre se designa a los modelos que, en una sola llamada, eligen una respuesta de una lista dada y devuelven una probabilidad para cada opción. El primer puesto es para Jev 1.13 con 58 puntos; GLiDE, de Fastino Labs, y Microsoft-Decision-1 suman 54 cada uno. Entre los modelos de lenguaje, Claude Haiku 5.5 (Low) queda por encima con 61 puntos, pero es 11 veces más lento y 4,4 veces más caro.

Qué mide el índice

Para Artificial Analysis, un modelo de decisión se distingue de un LLM por su forma de trabajar. No genera razonamientos largos, sino que resuelve una tarea estructurada del tipo «a qué equipo derivar la solicitud», «si es urgente» o «cuán molesto está el cliente». El modelo responde en una sola pasada y asigna una probabilidad a cada opción. Por eso estos sistemas son más baratos y rápidos, y su calibración se puede comprobar directamente. En esas mismas pruebas, con los LLM el servicio toma una respuesta estructurada, sin probabilidades por opción.

El índice se compone de cuatro evaluaciones, con un peso del 25% cada una:

• AA-Omniscience-Decision: 500 preguntas cerradas con cinco opciones (cuatro respuestas y «no sé»). La precisión y la proporción de no alucinaciones pesan un 12,5% cada una.
• HLE-MultiChoice: 513 preguntas de texto con respuesta de opción múltiple de Humanity's Last Exam.
• When2Call: prueba de NVIDIA sobre tool calling. El modelo decide si responder de inmediato, llamar a una herramienta, pedir aclaraciones o reconocer que no puede responder.
• WildGuardTest: conjunto de Ai2 para clasificación de seguridad. Hay que determinar si la solicitud es dañina, si la respuesta es una negativa y si es dañina.

Quién va por delante y cuánto cuesta

Jev 1.13 gana gracias al razonamiento: en HLE-MultiChoice obtiene 21 puntos, frente a 15 o menos del resto de modelos de decisión. En AA-Omniscience-Decision la precisión de Jev es de 35; el mejor resultado es el de d1, de Liquid AI (41). Sin embargo, d1 casi nunca sabe decir «no sé»: su proporción de no alucinaciones es de 2. En When2Call, Jev sacó 81 y quedó cuarto; Celeris-1 Decision y GLiDE lograron 84 cada uno. En WildGuardTest, Jev tiene 94, igual que Perplexity Decider v1.1 27B; GLiDE lo supera por un punto.

El coste por millón de tareas de los modelos de decisión va de $17 a $199, y el tiempo mediano por tarea, de 0,06 a 0,5 segundos. Decider v1.1 27B es el más barato ($17). En la frontera de Pareto de calidad y precio también están Microsoft-Decision-1 ($31) y Jev 1.13 ($42). GLiDE, con los mismos 54 puntos que Microsoft, cuesta $119, aproximadamente el triple que Jev. El más rápido es Celeris-1 Decision, con 0,06 s por tarea; Jev tarda 0,13 s.

Con los modelos de lenguaje, el panorama es mixto. GPT-6 Luna (Low) suma 55 puntos en 1,5 s y por $131. Claude Haiku 5.

5 (Low) logra 61 en 1,4 s y por $184. En conocimiento, los LLM van claramente por delante: la precisión en AA-Omniscience-Decision es de 52 para Haiku y de 66 para Luna, frente a entre 28 y 41 de los modelos de decisión. En HLE-MultiChoice, los LLM sacaron 24 y 22, frente a 21 de Jev.

En clasificación y tool calling, los mejores modelos de decisión no se quedan atrás: en WildGuardTest, GLiDE obtiene 95 frente a 93 de Haiku y 89 de Luna; en When2Call, GLiDE y Celeris logran 84 frente a 77 de Luna y 73 de Haiku.

Confianza sin fundamento

La principal objeción de los autores a los modelos de decisión se refiere a la calibración. En casi todos los niveles de probabilidad, la precisión real es inferior a la declarada, y ocurre con todos los modelos evaluados. El problema es mayor en conocimiento y razonamiento (AA-Omniscience-Decision y HLE-MultiChoice). En When2Call y WildGuardTest, la calibración es, en general, aceptable. El índice todavía no muestra la calibración de los LLM; prometen añadirla más adelante.

Por separado se evaluó la capacidad de abstenerse de responder. La mejor proporción de no alucinaciones es la de Microsoft-Decision-1 (40%), seguido de Jev 1.13 (35%) y Mercury Decide (32%). Ninguno de los demás modelos de decisión llegó al 17%.

Dónde resulta útil en la práctica

Para el enrutamiento de solicitudes, la moderación y la selección de herramientas en cadenas de agentes, un modelo de decisión en la frontera de Pareto, como Jev 1.13 o Microsoft-Decision-1, ofrece calidad de nivel LLM con un coste y una latencia muy inferiores. En preguntas factuales y razonamientos complejos, las probabilidades de estos modelos no pueden tomarse como una estimación fiable del riesgo, así que el umbral de confianza debe ajustarse con datos propios. Si el error es costoso, conviene mantener «no sé» como opción explícita y derivar esos casos a un LLM o a una persona. Los desarrolladores de modelos pueden solicitar su inclusión en el índice escribiendo a [email protected].