MLCommons empieza a medir las API de IA bajo carga real: 7 mediciones para agentes
MLCommons, responsable de las pruebas MLPerf, solía comparar chips en el laboratorio, pero al comprador le interesa cómo se comporta una API de IA ya desplegada cuando recibe carga. El nuevo MLPerf Endpoints v1.0 evalúa el servicio completo: hardware, modelo, software de servidor y red. En las tareas de agentes, el proveedor debe registrar exactamente 7 mediciones con distinto número de peticiones simultáneas, lo que deja ver dónde cae de forma brusca el rendimiento. Por eso conviene comparar proveedores con esa curva y no con la puntuación máxima.
Procesado por IA desde MLCommons; editado por Hamidun News
Imagine que elige dónde ejecutar un modelo para su producto: un proveedor muestra en su tabla una velocidad récord y otro tiene cifras más modestas. El problema es que el récord suele obtenerse en un acelerador perfectamente configurado y sin usuarios reales. Cuando cientos de clientes llaman a la vez a una API ya desplegada, el panorama puede ser muy distinto. El consorcio MLCommons, que desarrolla las pruebas de referencia MLPerf, ha lanzado MLPerf Endpoints v1.0 para cubrir esa brecha: la prueba no mide un chip, sino el servicio en funcionamiento completo, tal como lo usan los compradores.
Qué cambia respecto al MLPerf anterior
Hasta ahora, MLPerf medía sobre todo hardware aislado. Endpoints toma un endpoint de API en directo, es decir, la dirección a la que los clientes envían sus peticiones, y lo somete a una carga real. El resultado recoge toda la pila: aceleradores, el propio modelo, el software de inferencia en servidor, el batching (la forma en que se agrupan las peticiones antes de procesarlas) y la red.
Los autores comparan los benchmarks habituales con comprar un coche fijándose solo en la velocidad máxima del velocímetro, sin haber hecho nunca un test drive. Una única cifra máxima dice solo cómo se comportó el sistema en una prueba concreta. Para las nubes, los fabricantes de servidores y los «neoclouds» (empresas nuevas que alquilan GPU) esto se convierte en una carrera por ajustar la configuración para la prueba, con poca relación con la utilidad real para el negocio.
En lugar de una sola cifra, la v1.0 construye una frontera de Pareto: un conjunto de modos realmente medidos donde se ve el compromiso entre rendimiento y latencia. Los datos no se estiman ni se interpolan, es decir, no se dibuja la línea entre puntos. El resultado se muestra en la visualización MLPerf LoadStair: un gráfico escalonado con «saltos» de rendimiento, es decir, niveles de carga a partir de los cuales los clientes notan un empeoramiento.
Hay también una ventaja para los ingenieros. Si ha escrito un planificador de peticiones propio o ha optimizado su tejido de red, los benchmarks clásicos a menudo no lo detectan. Aquí esas mejoras sí modifican la curva final.
Qué se mide exactamente: cargas y las «7 mediciones»
En la v1.0 no se declaran tareas sintéticas, sino escenarios parecidos a los que los clientes ejecutan hoy. El primer conjunto es el resumen de texto de una sola petición: Llama 3.1 8B Instruct y GPT-OSS 120B, el conjunto de noticias CNN/DailyMail, además de problemas complejos de matemáticas y ciencia en los que el modelo genera tokens durante mucho tiempo. El segundo conjunto es la programación con agentes en diálogos de varios turnos: Qwen 3.6, Kimi K3 y DeepSeek V4 Pro. Para ello se han tomado 613 trayectorias en las que el contexto crece paso a paso. Los agentes cargan el servicio de forma distinta a las peticiones aisladas: el contexto acumulado presiona más la memoria y las latencias.
Por «medición» se entiende aquí una ejecución con un nivel de paralelismo elegido, es decir, con un número determinado de peticiones simultáneas. Con esos puntos se construye la curva. En las pruebas de agentes, el proveedor debe registrar exactamente 7 puntos; en los demás conjuntos, entre 8 y 32, incluida una ejecución offline aparte.
Las métricas principales son el rendimiento en tokens por segundo y el tiempo hasta el primer token en el percentil 90 (TTFT P90). Dicho de forma sencilla, es el plazo en el que se completa el 90% de las peticiones. Además, la v1.0 incorpora una normalización por potencia: los participantes indican la potencia asignada al sistema en el archivo system_power.json.
Cómo enviar los resultados
Los autores prometen bastante menos trabajo de ingeniería que en los benchmarks anteriores. Hay que firmar el acuerdo de licencia de MLCommons (CLA), obtener una clave de la API PRISM a través de la cuenta de participante e instalar los clientes de referencia. Después se planifican los puntos de carga y se ejecutan las pruebas con la herramienta inference-endpoint. A continuación se reúne el paquete con los archivos system_desc.json (configuración de hardware y software) y system_power.json, se hacen las comprobaciones locales con la CLI y se sube el resultado. El sistema crea automáticamente el ID de la solicitud y una pull request para revisión en el repositorio privado de MLCommons.
Las presentaciones se aceptan de forma continua, y las publicaciones salen por cohortes cada pocas semanas. Los resultados pasan por la revisión de competidores del sector y por una auditoría externa. Como novedad, los resultados preliminares pueden mostrarse justo después de la verificación automática, antes de la revisión. Los datos finales pueden mantenerse bajo embargo si hace falta, para publicarlos junto con el lanzamiento de un producto.
Qué significa en la práctica
Si elige un proveedor de inferencia o una nube, no mire el máximo, sino la curva bajo carga y el punto en el que se quiebra. Para los productos con agentes esto es especialmente importante, porque los contextos largos son los que más suelen provocar caídas de rendimiento.
También hay limitaciones. El benchmark acaba de arrancar, la fuente no informa de cuántos resultados se han publicado ya, y el conjunto de tareas se reduce por ahora al resumen y la programación. Los participantes del mercado se revisan entre sí, así que el valor de las pruebas dependerá de cuántos proveedores presenten realmente sus sistemas. Aun así, la idea de medir el servicio tal como lo usan los clientes es más útil que otra carrera por la puntuación máxima.
- 21 nov 2026Meta prepara Muse Charm, un tamagotchi con IA de 300 dólares y un año de 5G de Verizon
- 21 nov 2026Unsloth actualizó los Qwen3.8-27B comprimidos: la precisión sube un 5–10% con el mismo tamaño
- 21 nov 2026Apple construye un agente de IA para Mac y complica el acceso a terceros: 14 clics en lugar de 4
- 21 nov 2026GPT-6 Astra empezó a marcar objetivos para drones en el 92% de las consultas, frente al 6% previo, tras la frase «es un juego»
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué cambia respecto al MLPerf anterior?
Hasta ahora, MLPerf medía sobre todo hardware aislado. Endpoints toma un endpoint de API en directo, es decir, la dirección a la que los clientes envían sus peticiones, y lo somete a una carga real. El resultado recoge toda la pila: aceleradores, el propio modelo, el software de inferencia en servidor, el batching (la forma en que se agrupan las peticiones antes de procesarlas) y la red.
¿Qué se sabe sobre Qué se mide exactamente: cargas y las «7 mediciones»?
En la v1.0 no se declaran tareas sintéticas, sino escenarios parecidos a los que los clientes ejecutan hoy. El primer conjunto es el resumen de texto de una sola petición: Llama 3.1 8B Instruct y GPT-OSS 120B, el conjunto de noticias CNN/DailyMail, además de problemas complejos de matemáticas y ciencia en los que el modelo genera tokens durante mucho tiempo. El segundo conjunto es la programación con agentes en diálogos de varios turnos: Qwen 3.6, Kimi K3 y DeepSeek V4 Pro.
Cómo enviar los resultados?
Los autores prometen bastante menos trabajo de ingeniería que en los benchmarks anteriores. Hay que firmar el acuerdo de licencia de MLCommons (CLA), obtener una clave de la API PRISM a través de la cuenta de participante e instalar los clientes de referencia. Después se planifican los puntos de carga y se ejecutan las pruebas con la herramienta inference-endpoint.
Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews
Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.