AWS añade a SageMaker un ranking de más de 70 modelos: calidad, velocidad y precio en una sola tabla
Hasta ahora, elegir un modelo en SageMaker JumpStart obligaba a leer fichas y a cotejar benchmarks medidos en condiciones distintas. Ahora AWS ha pasado por su cuenta 70+ modelos por tres pruebas de razonamiento (BBH, GPQA Diamond, MMLU-Pro) y ha medido la velocidad de respuesta y el precio de la instancia. En el ejemplo de un bot de help-desk, el modelo mediano casi iguala al grande, pero cuesta $5,75 por hora en lugar de $37,66. Sirve como base para una lista corta; la decisión final conviene validarla con tus propios datos.
Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Imagina que estás creando un bot interno para el servicio de soporte y abres el catálogo de SageMaker JumpStart, con cientos de modelos abiertos. ¿Por cuál empezar? Hasta ahora había que leer las fichas una por una, buscar resultados de pruebas que cada equipo había medido con prompts, ajustes y hardware distintos, y estimar a ojo cuánto costaría el modelo en tu caso.
Amazon ha resuelto ese problema: en SageMaker Studio ha aparecido Model Leaderboard, una tabla que compara más de 70 modelos (Meta, Google, Qwen, IBM, Arcee y otros) por calidad, velocidad y precio. AWS ha obtenido todas las cifras por su cuenta y con una sola metodología, de modo que se pueden poner unas junto a otras. Para el desarrollador, supone ahorrar tiempo en la primera fase de la elección: la lista corta de candidatos sale en minutos, no en una tarde de cotejo manual.
Qué muestra la tabla
El leaderboard es una pestaña nueva en la página de modelos base de JumpStart, junto a "Categories" y "All models". La búsqueda y los filtros siguen igual, y la pestaña se abre directamente en el ranking de grandes modelos de lenguaje.
Los datos son de dos tipos. El primero es la calidad en tres benchmarks públicos, es decir, conjuntos estándar de preguntas con respuestas conocidas. BIG-Bench Hard evalúa el razonamiento en varios pasos: deducciones lógicas, seguimiento de objetos, aritmética. GPQA Diamond reúne preguntas científicas de nivel de máster que son difíciles de resolver con una búsqueda. MMLU-Pro contiene pruebas difíciles de opción múltiple sobre un amplio abanico de temas: ciencia, derecho, ingeniería. En los tres, cuanto más alto, mejor. Las puntuaciones no se fusionan en una sola nota: puedes fijarte en la prueba más cercana a tu tarea.
El segundo tipo es velocidad y coste. AWS envía una carga de prueba estándar al endpoint desplegado con cada configuración de JumpStart y mide el tiempo hasta el primer token (cuánto espera el usuario a que empiece la respuesta; importa en chats), la velocidad de generación en tokens por segundo (importa en el procesamiento por lotes) y el precio de la instancia por hora.
Perfil de carga y objetivo de optimización
Sobre la tabla hay dos menús. El perfil de use case (por defecto, Max Context) cambia solo las cifras de velocidad y precio; las puntuaciones de calidad siguen siendo las mismas. El objetivo de optimización determina la configuración de despliegue:
- Balanced: el precio estimado por token más bajo;
- Cost optimized: la instancia más barata por hora, aunque la latencia puede ser mayor;
- Latency optimized: el menor tiempo hasta el primer token;
- Throughput optimized: el máximo rendimiento, posiblemente con speculative decoding.
Para un chatbot de cara al cliente, AWS recomienda empezar por Latency optimized; para el procesamiento nocturno de documentos, encajan Throughput o Cost optimized. Las columnas se resaltan en azul: cuanto más oscuro, mejor el resultado. La tabla se puede ordenar, las columnas sobrantes se pueden ocultar y la página tiene un enlace propio para compartir con el equipo.
Ejemplo: un bot para help-desk
AWS expone un ejemplo hipotético: se necesita un modelo con licencia comercial y un presupuesto predecible. Tras aplicar el filtro y elegir el perfil de chat con Latency optimized, el panorama es este. Modelo A (grande): BBH 95,9, MMLU-Pro 87,2, primer token a los 2,33 s, 37 tokens/s, $37,66 por hora. Modelo B (mediano): 94,2 y 84,9, 0,98 s, 44 tokens/s, $5,75 por hora. Modelo C (pequeño): 77,4 y 66,1, 0,27 s, 61 tokens/s, $2,61 por hora. Es una ilustración, no datos de modelos reales.
Conclusión: el modelo B apenas queda por detrás del grande en calidad, responde más rápido y cuesta aproximadamente 6,5 veces menos. Para un help-desk, donde importa más razonar y responder deprisa que exprimir los últimos puntos de conocimiento general, es el mejor punto de partida. Conviene mantener el modelo C como alternativa barata de reserva.
Limitaciones
El coste tiene en cuenta solo el precio de la instancia de SageMaker en la tarifa on-demand. No incluye la transferencia de datos, el almacenamiento, los inference components ni descuentos como Reserved Instances y Savings Plans, así que la factura real será distinta.
Los benchmarks miden capacidades generales, no tu producto. Hay que probar a los dos o tres mejores candidatos con tus propios datos y prompts. Las puntuaciones cercanas es mejor considerarlas un empate: la diferencia puede caber en la variación habitual entre ejecuciones. Los modelos de razonamiento y los convencionales se evalúan con parámetros de generación distintos, y GPQA Diamond se promedia en 10 pasadas para los de razonamiento, por lo que la comparación entre ambos tipos es aproximada. Las métricas corresponden a la configuración en la que se midieron, así que conviene desplegar el modelo con el mismo perfil y el mismo objetivo.
La cobertura aún es incompleta: no todos los modelos de JumpStart tienen puntuaciones, y la ausencia de una nota no significa que el modelo sea débil; simplemente no se ha evaluado. En el lanzamiento, la tabla incluye solo LLM.
Qué viene después
AWS planea dar soporte a los hubs privados de JumpStart, para que las organizaciones vean el ranking únicamente de los modelos aprobados, y crear leaderboards específicos para detección de objetos, embeddings de texto y comprensión de imágenes.
El orden práctico es este: primero filtra por los requisitos imprescindibles (licencia, proveedor, modalidades), luego ordena por el benchmark que necesites, elige el perfil y el objetivo de optimización y, por último, despliega dos o tres modelos y compruébalos con consultas reales.
- 19 nov 2026Exa mejora un 47% la velocidad y el coste de los embeddings en chips AWS Inferentia2
- 18 nov 2026AWS integra Dynamo en HyperPod: Qwen3-235B pasa de 101 a 207 tokens/s por GPU
- 18 nov 2026El nuevo modelo Jev responde en 150 ms frente a los 1,89 s de GPT-6 Astra
- 18 nov 2026AWS muestra cómo dar a los agentes de Bedrock acceso a API privadas a través de un firewall central
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué muestra la tabla?
El leaderboard es una pestaña nueva en la página de modelos base de JumpStart, junto a "Categories" y "All models". La búsqueda y los filtros siguen igual, y la pestaña se abre directamente en el ranking de grandes modelos de lenguaje. Los datos son de dos tipos. El primero es la calidad en tres benchmarks públicos, es decir, conjuntos estándar de preguntas con respuestas conocidas. BIG-Bench Hard evalúa el razonamiento en varios pasos: deducciones lógicas, seguimiento de objetos, aritmética.
¿Qué se sabe sobre Perfil de carga y objetivo de optimización?
Sobre la tabla hay dos menús. El perfil de use case (por defecto, Max Context) cambia solo las cifras de velocidad y precio; las puntuaciones de calidad siguen siendo las mismas. El objetivo de optimización determina la configuración de despliegue: Balanced: el precio estimado por token más bajo; Cost optimized: la instancia más barata por hora, aunque la latencia puede ser mayor; Latency optimized: el menor tiempo hasta el primer token; Throughput optimized: el máximo rendimiento, posiblemente…
¿Qué se sabe sobre Ejemplo: un bot para help-desk?
AWS expone un ejemplo hipotético: se necesita un modelo con licencia comercial y un presupuesto predecible. Tras aplicar el filtro y elegir el perfil de chat con Latency optimized, el panorama es este. Modelo A (grande): BBH 95,9, MMLU-Pro 87,2, primer token a los 2,33 s, 37 tokens/s, $37,66 por hora. Modelo B (mediano): 94,2 y 84,9, 0,98 s, 44 tokens/s, $5,75 por hora. Modelo C (pequeño): 77,4 y 66,1, 0,27 s, 61 tokens/s, $2,61 por hora. Es una ilustración, no datos de modelos reales.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.