Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarX: @ArtificialAnlys→ original

SubQ Snap 1.2 sube de 68 a 73 puntos en Decision Index: responde «no lo sé» con más frecuencia

El ranking Decision Index comprueba si un modelo sirve para tomar decisiones: si inventa respuestas y si cambia su elección cuando se reformula la pregunta. SubQ Snap 1.2 logró 73 puntos frente a los 68 de la versión 1.1 y empató con Drex Max v1.1 y GLiDE v1.2. La precisión no mejoró (21% y 9%): el modelo rechaza responder al azar con más frecuencia, por eso la proporción de respuestas sin invenciones pasó del 85% al 89%. Para agentes donde el error sale caro, eso es una ventaja.

Procesado por IA desde X: @ArtificialAnlys; editado por Hamidun News
SubQ Snap 1.2 sube de 68 a 73 puntos en Decision Index: responde «no lo sé» con más frecuencia
Fuente: X: @ArtificialAnlys. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalX: @ArtificialAnlys ↗
Editor jefe
Dato clave #1Proporción de documentos completamente correctos en AA-Paperclip: del 46% al 62%
Dato clave #2En las preguntas AA-Omniscience-Decision, el modelo responde en el 29% de los casos frente al 33% anterior
Dato clave #3Precio de $0,04 por millón de tokens de entrada, ventana de contexto de 384 mil tokens

Imagine un agente que decide por sí mismo qué acción ejecutar: aprobar un pago, responder a un cliente o cerrar un ticket. Aquí, la precisión media del modelo dice poco. Lo que importa es que no invente una respuesta cuando no sabe y que no cambie su decisión si las mismas opciones se reformulan con otras palabras. Precisamente estas propiedades evalúa el laboratorio independiente Artificial Analysis en el ranking Decision Index. En la versión v2.1, el modelo SubQ Snap 1.2 de la compañía Subquadratic obtuvo 73 puntos frente a los 68 de su predecesor SubQ Snap 1.1: sumó 5 puntos y empató con los líderes del ranking de decisiones. Pero la mejora no llegó donde suele esperarse.

Qué mostró el ranking

Drex Max v1.1 y GLiDE v1.2 también tienen 73 puntos, y la diferencia con SubQ Snap 1.2 es de 0,1 puntos. En la práctica, tres modelos compiten por el primer puesto, y no es posible elegir entre ellos solo por esta cifra del ranking.

El precio no cambió: $0,04 por millón de tokens de entrada. La ventana de contexto es de 384 mil tokens. La mejora llegó sin encarecer el servicio, algo importante si calcula el coste de procesar grandes volúmenes de texto.

Los dos subpruebas que más crecieron fueron AA-Paperclip y AA-Symmetry, con 8 puntos cada una.

De dónde salió el crecimiento

AA-Paperclip evalúa el trabajo con documentos. Se mide la proporción de documentos que el modelo responde por completo y sin ningún error. En SubQ Snap 1.2 subió del 46% al 62%. Drex Max v1.1 alcanza el 63% y GLiDE v1.2, el 62%, así que en este apartado los tres modelos están prácticamente igualados.

AA-Symmetry mide la estabilidad: si el modelo mantiene la misma decisión y la misma confianza cuando la pregunta cambia de una forma que no debería afectar la respuesta. Por ejemplo, se le pide al agente que elija una de tres acciones y luego se le describen esas mismas opciones con otras palabras. Un modelo fiable elegirá lo mismo. En Decision Index v2.1, esta prueba se actualizó a la versión 1.1: ahora las opciones de respuesta están dentro de la descripción de la situación y están reescritas con el mismo significado. La tarea se volvió más difícil, pero SubQ Snap 1.2 aun así mejoró su resultado en 8 puntos.

Prudencia en lugar de precisión

Lo más interesante son otras dos pruebas, AA-Omniscience-Decision y HLE-MultiChoice. Allí no aumentaron las respuestas correctas: la precisión se mantuvo en el 21% y el 9%. Sin embargo, sí creció la proporción de respuestas sin invenciones, es decir, los casos en que el modelo no dio una respuesta incorrecta con seguridad: del 85% al 89% en la primera prueba y del 46% al 55% en la segunda.

La causa está en los rechazos. En AA-Omniscience-Decision, el modelo ahora se atreve a responder al 29% de las preguntas, cuando antes lo hacía en el 33%. Admite con más frecuencia que no sabe y da con menos frecuencia una conjetura errónea. En el ranking, esto cuenta como una mejora, porque una respuesta inventada se penaliza más que un rechazo honesto.

Qué hacer con esto en la práctica

Primero, revise de qué está hecha la mejora. Cinco puntos no significan que el modelo sea más inteligente: una parte considerable del avance se debe a la prudencia. En escenarios donde el error es costoso (finanzas, medicina, documentos jurídicos, acciones automáticas de un agente), eso es positivo. Pero si necesita una respuesta a cada consulta, el exceso de cautela le estorbará.

Segundo, compruebe con sus propios datos la proporción de rechazos. Si el modelo responde al 29% de las preguntas en lugar del 33%, el comportamiento de su producto cambiará. La interfaz debe saber gestionar el «no lo sé»: derivar la pregunta a una persona o a otro modelo.

Tercero, con puntuaciones iguales, compare el precio, la velocidad y la longitud del contexto. Con $0,04 por millón de tokens de entrada y una ventana de 384 mil tokens, SubQ Snap 1.2 parece una opción razonable para el procesamiento masivo de documentos largos.

Limitaciones: estos son benchmarks de un único analista independiente, y la prueba de estabilidad se actualizó recientemente, por lo que no se pueden comparar directamente las cifras con las de versiones anteriores del índice. En una tarea real, los resultados pueden diferir. Antes de migrar a la nueva versión, pruebe su propio conjunto de ejemplos.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué mostró el ranking?

Drex Max v1.1 y GLiDE v1.2 también tienen 73 puntos, y la diferencia con SubQ Snap 1.2 es de 0,1 puntos. En la práctica, tres modelos compiten por el primer puesto, y no es posible elegir entre ellos solo por esta cifra del ranking. El precio no cambió: $0,04 por millón de tokens de entrada. La ventana de contexto es de 384 mil tokens. La mejora llegó sin encarecer el servicio, algo importante si calcula el coste de procesar grandes volúmenes de texto.

¿Qué se sabe sobre De dónde salió el crecimiento?

AA-Paperclip evalúa el trabajo con documentos. Se mide la proporción de documentos que el modelo responde por completo y sin ningún error. En SubQ Snap 1.2 subió del 46% al 62%. Drex Max v1.1 alcanza el 63% y GLiDE v1.2, el 62%, así que en este apartado los tres modelos están prácticamente igualados. AA-Symmetry mide la estabilidad: si el modelo mantiene la misma decisión y la misma confianza cuando la pregunta cambia de una forma que no debería afectar la respuesta.

¿Qué se sabe sobre Prudencia en lugar de precisión?

Lo más interesante son otras dos pruebas, AA-Omniscience-Decision y HLE-MultiChoice. Allí no aumentaron las respuestas correctas: la precisión se mantuvo en el 21% y el 9%. Sin embargo, sí creció la proporción de respuestas sin invenciones, es decir, los casos en que el modelo no dio una respuesta incorrecta con seguridad: del 85% al 89% en la primera prueba y del 46% al 55% en la segunda. La causa está en los rechazos.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…