Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
LanzamientoPaper científico · Para I+DAWS Machine Learning Blog→ original

AWS añade a SageMaker un ranking de más de 70 modelos: calidad, velocidad y precio en una sola tabla

Hasta ahora, elegir un modelo en SageMaker JumpStart obligaba a leer fichas y a cotejar benchmarks medidos en condiciones distintas. Ahora AWS ha pasado por su cuenta 70+ modelos por tres pruebas de razonamiento (BBH, GPQA Diamond, MMLU-Pro) y ha medido la velocidad de respuesta y el precio de la instancia. En el ejemplo de un bot de help-desk, el modelo mediano casi iguala al grande, pero cuesta $5,75 por hora en lugar de $37,66. Sirve como base para una lista corta; la decisión final conviene validarla con tus propios datos.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
AWS añade a SageMaker un ranking de más de 70 modelos: calidad, velocidad y precio en una sola tabla
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Dato clave #1Las puntuaciones de BBH, GPQA Diamond y MMLU-Pro se muestran por separado; no hay una nota global
Dato clave #2El precio es solo el de la instancia on-demand de SageMaker, sin tráfico, almacenamiento ni descuentos
Dato clave #3La latencia hasta el primer token importa en chats; los tokens/s, en el procesamiento por lotes

Imagina que estás creando un bot interno para el servicio de soporte y abres el catálogo de SageMaker JumpStart, con cientos de modelos abiertos. ¿Por cuál empezar? Hasta ahora había que leer las fichas una por una, buscar resultados de pruebas que cada equipo había medido con prompts, ajustes y hardware distintos, y estimar a ojo cuánto costaría el modelo en tu caso.

Amazon ha resuelto ese problema: en SageMaker Studio ha aparecido Model Leaderboard, una tabla que compara más de 70 modelos (Meta, Google, Qwen, IBM, Arcee y otros) por calidad, velocidad y precio. AWS ha obtenido todas las cifras por su cuenta y con una sola metodología, de modo que se pueden poner unas junto a otras. Para el desarrollador, supone ahorrar tiempo en la primera fase de la elección: la lista corta de candidatos sale en minutos, no en una tarde de cotejo manual.

Qué muestra la tabla

El leaderboard es una pestaña nueva en la página de modelos base de JumpStart, junto a "Categories" y "All models". La búsqueda y los filtros siguen igual, y la pestaña se abre directamente en el ranking de grandes modelos de lenguaje.

Los datos son de dos tipos. El primero es la calidad en tres benchmarks públicos, es decir, conjuntos estándar de preguntas con respuestas conocidas. BIG-Bench Hard evalúa el razonamiento en varios pasos: deducciones lógicas, seguimiento de objetos, aritmética. GPQA Diamond reúne preguntas científicas de nivel de máster que son difíciles de resolver con una búsqueda. MMLU-Pro contiene pruebas difíciles de opción múltiple sobre un amplio abanico de temas: ciencia, derecho, ingeniería. En los tres, cuanto más alto, mejor. Las puntuaciones no se fusionan en una sola nota: puedes fijarte en la prueba más cercana a tu tarea.

El segundo tipo es velocidad y coste. AWS envía una carga de prueba estándar al endpoint desplegado con cada configuración de JumpStart y mide el tiempo hasta el primer token (cuánto espera el usuario a que empiece la respuesta; importa en chats), la velocidad de generación en tokens por segundo (importa en el procesamiento por lotes) y el precio de la instancia por hora.

Perfil de carga y objetivo de optimización

Sobre la tabla hay dos menús. El perfil de use case (por defecto, Max Context) cambia solo las cifras de velocidad y precio; las puntuaciones de calidad siguen siendo las mismas. El objetivo de optimización determina la configuración de despliegue:

  • Balanced: el precio estimado por token más bajo;
  • Cost optimized: la instancia más barata por hora, aunque la latencia puede ser mayor;
  • Latency optimized: el menor tiempo hasta el primer token;
  • Throughput optimized: el máximo rendimiento, posiblemente con speculative decoding.

Para un chatbot de cara al cliente, AWS recomienda empezar por Latency optimized; para el procesamiento nocturno de documentos, encajan Throughput o Cost optimized. Las columnas se resaltan en azul: cuanto más oscuro, mejor el resultado. La tabla se puede ordenar, las columnas sobrantes se pueden ocultar y la página tiene un enlace propio para compartir con el equipo.

Ejemplo: un bot para help-desk

AWS expone un ejemplo hipotético: se necesita un modelo con licencia comercial y un presupuesto predecible. Tras aplicar el filtro y elegir el perfil de chat con Latency optimized, el panorama es este. Modelo A (grande): BBH 95,9, MMLU-Pro 87,2, primer token a los 2,33 s, 37 tokens/s, $37,66 por hora. Modelo B (mediano): 94,2 y 84,9, 0,98 s, 44 tokens/s, $5,75 por hora. Modelo C (pequeño): 77,4 y 66,1, 0,27 s, 61 tokens/s, $2,61 por hora. Es una ilustración, no datos de modelos reales.

Conclusión: el modelo B apenas queda por detrás del grande en calidad, responde más rápido y cuesta aproximadamente 6,5 veces menos. Para un help-desk, donde importa más razonar y responder deprisa que exprimir los últimos puntos de conocimiento general, es el mejor punto de partida. Conviene mantener el modelo C como alternativa barata de reserva.

Limitaciones

El coste tiene en cuenta solo el precio de la instancia de SageMaker en la tarifa on-demand. No incluye la transferencia de datos, el almacenamiento, los inference components ni descuentos como Reserved Instances y Savings Plans, así que la factura real será distinta.

Los benchmarks miden capacidades generales, no tu producto. Hay que probar a los dos o tres mejores candidatos con tus propios datos y prompts. Las puntuaciones cercanas es mejor considerarlas un empate: la diferencia puede caber en la variación habitual entre ejecuciones. Los modelos de razonamiento y los convencionales se evalúan con parámetros de generación distintos, y GPQA Diamond se promedia en 10 pasadas para los de razonamiento, por lo que la comparación entre ambos tipos es aproximada. Las métricas corresponden a la configuración en la que se midieron, así que conviene desplegar el modelo con el mismo perfil y el mismo objetivo.

La cobertura aún es incompleta: no todos los modelos de JumpStart tienen puntuaciones, y la ausencia de una nota no significa que el modelo sea débil; simplemente no se ha evaluado. En el lanzamiento, la tabla incluye solo LLM.

Qué viene después

AWS planea dar soporte a los hubs privados de JumpStart, para que las organizaciones vean el ranking únicamente de los modelos aprobados, y crear leaderboards específicos para detección de objetos, embeddings de texto y comprensión de imágenes.

El orden práctico es este: primero filtra por los requisitos imprescindibles (licencia, proveedor, modalidades), luego ordena por el benchmark que necesites, elige el perfil y el objetivo de optimización y, por último, despliega dos o tres modelos y compruébalos con consultas reales.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué muestra la tabla?

El leaderboard es una pestaña nueva en la página de modelos base de JumpStart, junto a "Categories" y "All models". La búsqueda y los filtros siguen igual, y la pestaña se abre directamente en el ranking de grandes modelos de lenguaje. Los datos son de dos tipos. El primero es la calidad en tres benchmarks públicos, es decir, conjuntos estándar de preguntas con respuestas conocidas. BIG-Bench Hard evalúa el razonamiento en varios pasos: deducciones lógicas, seguimiento de objetos, aritmética.

¿Qué se sabe sobre Perfil de carga y objetivo de optimización?

Sobre la tabla hay dos menús. El perfil de use case (por defecto, Max Context) cambia solo las cifras de velocidad y precio; las puntuaciones de calidad siguen siendo las mismas. El objetivo de optimización determina la configuración de despliegue: Balanced: el precio estimado por token más bajo; Cost optimized: la instancia más barata por hora, aunque la latencia puede ser mayor; Latency optimized: el menor tiempo hasta el primer token; Throughput optimized: el máximo rendimiento, posiblemente…

¿Qué se sabe sobre Ejemplo: un bot para help-desk?

AWS expone un ejemplo hipotético: se necesita un modelo con licencia comercial y un presupuesto predecible. Tras aplicar el filtro y elegir el perfil de chat con Latency optimized, el panorama es este. Modelo A (grande): BBH 95,9, MMLU-Pro 87,2, primer token a los 2,33 s, 37 tokens/s, $37,66 por hora. Modelo B (mediano): 94,2 y 84,9, 0,98 s, 44 tokens/s, $5,75 por hora. Modelo C (pequeño): 77,4 y 66,1, 0,27 s, 61 tokens/s, $2,61 por hora. Es una ilustración, no datos de modelos reales.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…