SageMaker ya envía las solicitudes LLM al GPU con la caché lista: el primer token llega un 97% más rápido
Cuando las solicitudes de un chat o de un sistema RAG llegan a un GPU cualquiera, este recalcula desde cero el prompt largo, aunque en otro GPU la caché ya esté preparada. La nueva estrategia de enrutamiento KV_AWARE de SageMaker AI envía la solicitud al GPU que guarda la coincidencia más larga. En Llama 3.1 70B, el tiempo hasta el primer token se redujo un 97% y el rendimiento aumentó un 234%. Conviene probarla con el tráfico propio en diálogos largos y en RAG.
Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Imagine un servicio de soporte basado en un LLM en el que cada diálogo empieza con el mismo fragmento de base de conocimiento de 6 000 tokens. El modelo lo calcula una vez y guarda el resultado en la memoria del GPU: es lo que se conoce como KV-cache. Si la siguiente intervención del diálogo cae en otro servidor que no tiene esa caché, el GPU recalcula los 6 000 tokens y el usuario espera el primer token de la respuesta.
Amazon SageMaker AI ha añadido a los endpoints en tiempo real la estrategia de enrutamiento KV_AWARE, que envía la solicitud al lugar donde la caché necesaria está realmente almacenada. En Llama 3.1 70B, esto redujo un 97% el tiempo mediano hasta el primer token (TTFT) y elevó un 234% el rendimiento.
Qué fallaba en el enrutamiento por prefijo
SageMaker ya contaba con la estrategia PREFIX_AWARE. Esta calcula el hash del inicio de la solicitud, un número determinado de bytes o caracteres (PrefixLength), y envía las solicitudes parecidas a la misma instancia. El enrutador no ve qué hay realmente en la caché, y por eso se equivoca en dos casos.
El primero: la memoria del GPU se llena, la instancia descarta entradas antiguas de la caché y el enrutador sigue enviándole solicitudes porque la da por caliente. El segundo: en un chat de varios turnos, el historial crece con cada intervención. Mientras la solicitud sea más corta que PrefixLength, el texto que se hashea cambia en cada turno y la siguiente intervención puede acabar en otra instancia. El diálogo solo se «pega» a un servidor cuando la solicitud supera PrefixLength.
Cómo funciona KV_AWARE
El contenedor con el modelo informa por sí mismo de lo que tiene en la caché: publica un evento cada vez que guarda o elimina entradas. La variable SM_VLLM_KV_EVENTS_CONFIG activa esos eventos. SageMaker los reúne en un índice gestionado. Ese índice no contiene prompts, ID de tokens, cuerpos de solicitudes ni tensores KV: solo hashes truncados e irreversibles y punteros a la instancia o a la copia del inference component donde se encuentran.
Cuando llega una solicitud, el endpoint tokeniza el prompt y busca sus tokens en el índice. Después compara la longitud de la coincidencia con la carga de la instancia. Si el mejor candidato está ocupado, la solicitud pasa al siguiente que esté libre. Si no hay coincidencias útiles o todas las instancias están ocupadas, se aplica el balanceo habitual por carga, como en LEAST_OUTSTANDING_REQUESTS.
Un ejemplo de AWS: la cuarta intervención de un diálogo pesa 6 200 tokens y la instancia A conserva los primeros 6 000, así que A solo tendrá que calcular los 200 restantes. En el escenario del servicio de soporte bajo carga, A ha descartado casi todo el fragmento de la base de conocimiento, pero la instancia B recuerda sus primeros 4 000 tokens. El enrutador por prefijo enviaría la solicitud a A; el enrutador KV-aware la enviará a B. Con carga baja no hay expulsión de caché y ambas estrategias elegirán A. La coincidencia se mide en tokens, por lo que no hace falta ajustar el umbral de paralelismo.
Cifras y limitaciones
AWS probó Llama 3.1 70B Instruct en siete instancias ml.p5.48xlarge: pruebas de 30 minutos, con 20 o 100 usuarios virtuales, chats de varios turnos y preguntas sobre documentos, con prompts de hasta 64 000 tokens. Frente al enrutamiento aleatorio, con prompts largos y bajo carga, KV_AWARE redujo un 97% el p50 de TTFT, elevó un 234% el rendimiento y subió la tasa de aciertos de caché del 3–48% al 80–93%. Los prompts largos también salieron ganando con menos carga. En los cortos la mejora es mínima, porque casi no hay nada que recalcular.
Qué conviene tener en cuenta:
- La estrategia solo funciona a partir de dos instancias o dos copias del inference component. Con una sola instancia no cambia nada.
- Se necesita un contenedor compatible (AWS vLLM Deep Learning Container) con el almacenamiento en caché de prefijos y los eventos de KV-cache activados.
- La latencia adicional del enrutador es de unos pocos milisegundos con un prompt corto y mayor con uno largo, sobre todo por la tokenización. En la estrategia por prefijo es de 1,3–1,9 ms.
- Tras escalar o actualizar, las instancias nuevas arrancan con la caché vacía y durante un tiempo las latencias son más altas.
- Los retornos al balanceo por carga no se ven en la consola ni en las métricas al principio, así que habrá que comprobar el efecto por cuenta propia.
Qué hacer en la práctica
Activarla lleva dos pasos: añadir la variable de entorno al modelo y fijar RoutingStrategy en KV_AWARE dentro de RoutingConfig de la variante del endpoint. Los clientes invocan el endpoint con las mismas API.
Si tiene un prompt de sistema común y estable, solicitudes cortas y una carga moderada, basta con PREFIX_AWARE, que funciona con cualquier contenedor. KV_AWARE tiene sentido cuando el contexto es largo, la carga es alta y la memoria del GPU no alcanza para la caché: diálogos largos, RAG con documentos grandes y asistentes con prompts pesados. Las cifras del blog dependen de la carga, así que conviene lanzar el tráfico propio en dos endpoints y comparar el TTFT, el rendimiento y la tasa de aciertos de caché.
- 19 nov 2026Los modelos de IA incluyeron una escuela en la lista de objetivos militares en el 70% de las pruebas de Vals AI
- 19 nov 2026Q.ANT y AMD ejecutan un LLM de 1 mil millones de parámetros con un chip óptico en lugar de la atención
- 19 nov 2026La palabra «videojuego» elevó la disposición de GPT-6 Astra a elegir objetivos del 6% al 92%
- 19 nov 2026AWS añade a SageMaker un ranking de más de 70 modelos: calidad, velocidad y precio en una sola tabla
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué fallaba en el enrutamiento por prefijo?
SageMaker ya contaba con la estrategia PREFIX_AWARE. Esta calcula el hash del inicio de la solicitud, un número determinado de bytes o caracteres (PrefixLength), y envía las solicitudes parecidas a la misma instancia. El enrutador no ve qué hay realmente en la caché, y por eso se equivoca en dos casos. El primero: la memoria del GPU se llena, la instancia descarta entradas antiguas de la caché y el enrutador sigue enviándole solicitudes porque la da por caliente.
Cómo funciona KV_AWARE?
El contenedor con el modelo informa por sí mismo de lo que tiene en la caché: publica un evento cada vez que guarda o elimina entradas. La variable SM_VLLM_KV_EVENTS_CONFIG activa esos eventos. SageMaker los reúne en un índice gestionado. Ese índice no contiene prompts, ID de tokens, cuerpos de solicitudes ni tensores KV: solo hashes truncados e irreversibles y punteros a la instancia o a la copia del inference component donde se encuentran.
¿Qué se sabe sobre Cifras y limitaciones?
AWS probó Llama 3.1 70B Instruct en siete instancias ml.p5.48xlarge: pruebas de 30 minutos, con 20 o 100 usuarios virtuales, chats de varios turnos y preguntas sobre documentos, con prompts de hasta 64 000 tokens. Frente al enrutamiento aleatorio, con prompts largos y bajo carga, KV_AWARE redujo un 97% el p50 de TTFT, elevó un 234% el rendimiento y subió la tasa de aciertos de caché del 3–48% al 80–93%. Los prompts largos también salieron ganando con menos carga.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.