AWS da a los agentes una habilidad de caché compartida para LLM: hasta un 40% más barato y el primer token un 80% más rápido
Si alojas un LLM en GPU, tras una pausa el servidor vuelve a calcular todo el historial de la conversación (la caché KV), y un abogado espera 13 segundos hasta ver el primer token. AWS ha lanzado una habilidad para Claude Code, Kiro y Codex: el agente estima el beneficio de una caché compartida en ElastiCache y la despliega por sí mismo. Según la compañía, se logra hasta un 40% de ahorro en inferencia y hasta un 80% menos de tiempo hasta el primer token (TTFT). Primero evalúa el beneficio con tu propio tráfico.
Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Imagina un asistente jurídico basado en IA en tus propias GPU. En una misma conversación se han acumulado cientos de miles de tokens del historial del caso. El abogado vuelve después de comer, pero la solicitud llega a un servidor que no tiene en memoria esa historia. La tarjeta gráfica vuelve a calcular la caché KV: las «notas» internas que el modelo guarda sobre cada token del texto ya leído. Esta fase se llama prefill, y mientras dura, el usuario no ve ni una palabra. En el ejemplo de AWS, con un contexto de 64 000 tokens, el primer token tardaba 13 segundos en llegar. Esta pausa se abrevia como TTFT, es decir, tiempo hasta el primer token.
AWS propone sacar la caché de la memoria de cada servidor y llevarla a una capa compartida junto al parque de GPU, sobre Amazon ElastiCache. Así, cualquier servidor puede recuperar el estado ya calculado, incluso si la solicitud se envió a otra máquina o si el servidor anterior falló. Según datos de AWS, esta caché KV distribuida reduce el coste de inferencia hasta un 40% y el TTFT hasta un 80%.
Son valores máximos del comunicado de la compañía, no una garantía para cualquier carga de trabajo. La novedad es que para la configuración se ha publicado una habilidad (skill) lista para usar en Agent Toolkit for AWS. Funciona en Kiro, Claude Code, OpenAI Codex y otros agentes que admiten Agent Skills.
Cuatro escenarios de trabajo de la habilidad
AWS muestra cuatro diálogos con el agente.
En el primero, el agente diagnostica un primer token lento. Primero busca soluciones que no requieran nueva infraestructura. Si desactivaste el prefix caching, basta con volver a activarlo. Si la tasa de aciertos en la caché local de la GPU ya supera el 90% con sesiones vinculadas a un servidor, es posible que no haga falta una caché compartida. Además, el agente advierte sobre un riesgo para la multitenencia: por el tiempo de respuesta, un cliente podría deducir que otro envió el mismo texto. Por eso, los casos que deben estar aislados se mantienen en cachés separadas, y al usar una caché compartida se añade el ID del inquilino al hash.
En el segundo escenario, el agente evalúa el ahorro. Para un parque de 8 instancias p5 con solicitudes de 64 000 tokens, tomó los precios de la lista de AWS y recomendó dos nodos cache.i8ge.48xlarge. No inventa la tasa de aciertos en caché, sino que propone medirla con KVTrace.
KVTrace, configuración y depuración
KVTrace registra los eventos de la caché KV desde vLLM o SGLang y después los reproduce sin conexión sobre cachés compartidas de distintos tamaños. Los registros contienen hashes de bloques y el número de tokens, no el texto de los prompts. Los hashes se construyen a partir del contenido, así que, para datos sensibles, AWS recomienda el indicador --anonymize-key-file. Conviene registrar en todos los servidores durante un periodo representativo, por ejemplo una jornada laboral. El informe recomienda el menor volumen que proporcione el 90% del máximo ahorro posible. En prompts cortos, leer la caché puede tardar más que recalcular, así que lo decisivo son la longitud del prompt y la frecuencia de repeticiones.
En el tercer escenario, el agente despliega la caché desde cero. Tras tu confirmación, crea un security group con permisos para EFA y un clúster de Valkey 9.1 con políticas de desalojo.
Para LMCache se crea un usuario específico, y la contraseña se guarda en Secrets Manager. Después, el agente conecta el conector de LMCache al vLLM o SGLang existente, incluidas las variantes para llm-d y Ray Serve. A todos los servidores les asigna un mismo mecanismo de identificadores KV y un tipo de datos explícito; de lo contrario, cada servidor escribiría estados que los demás no encontrarían.
Antes de pasar a producción, vacía los niveles locales y comprueba que dos ejecuciones con carga desde la caché dan la misma respuesta. Si la disposición de los datos no coincide, los contadores de aciertos parecen buenos, pero las respuestas son incorrectas.
En el cuarto escenario, el agente analiza un fallo. La conexión con ElastiCache existe, pero la transferencia de datos falla y crece el contador rdma_write_errors. La causa probable es que el security group bloquea el tráfico EFA entre los propios participantes. El agente facilita los comandos para verificarlo y corregirlo.
Limitaciones y conclusión práctica
Los requisitos son estrictos: instancias con soporte de EFA RDMA write (por ejemplo, p5), LMCache 0.5.8rc1 o posterior, vLLM 0.11.1+ o SGLang 0.5.13+, y ElastiCache for Valkey 9.1+ en nodos cache.i8ge.48xlarge. El tiempo de GPU liberado se convierte en dinero solo si reduces el número de servidores o atiendes más tráfico con los mismos.
Si tienes conversaciones largas de varios turnos, RAG o sesiones de agentes reanudables sobre tus propias GPU, primero registra una traza con KVTrace durante una jornada laboral. Al mismo tiempo, revisa las alternativas baratas: prefix caching y vinculación de sesiones. La caché compartida se justifica cuando el cálculo muestra que el ahorro cubre el coste de los nodos. La habilidad solo automatiza la rutina y pide permiso antes de cada acción relevante.
- 21 nov 2026AG-UI 1.0 le da a los agentes de IA un lenguaje común para comunicarse con la aplicación: 31 tipos de eventos
- 21 nov 2026OpenAI lanza ChatGPT Wallet: los agentes compran sin ver el número de la tarjeta
- 21 nov 2026Los anunciantes estadounidenses gastaron 70,7 millones de dólares en publicidad en ChatGPT en octubre, un 127 % más que en abril
- 21 nov 2026ONNX Runtime desaparece de GitHub: Microsoft oculta los repositorios tras el ataque a un paquete
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Cuatro escenarios de trabajo de la habilidad?
AWS muestra cuatro diálogos con el agente. En el primero, el agente diagnostica un primer token lento. Primero busca soluciones que no requieran nueva infraestructura. Si desactivaste el prefix caching, basta con volver a activarlo. Si la tasa de aciertos en la caché local de la GPU ya supera el 90% con sesiones vinculadas a un servidor, es posible que no haga falta una caché compartida.
¿Qué se sabe sobre KVTrace, configuración y depuración?
KVTrace registra los eventos de la caché KV desde vLLM o SGLang y después los reproduce sin conexión sobre cachés compartidas de distintos tamaños. Los registros contienen hashes de bloques y el número de tokens, no el texto de los prompts. Los hashes se construyen a partir del contenido, así que, para datos sensibles, AWS recomienda el indicador --anonymize-key-file. Conviene registrar en todos los servidores durante un periodo representativo, por ejemplo una jornada laboral.
¿Qué se sabe sobre Limitaciones y conclusión práctica?
Los requisitos son estrictos: instancias con soporte de EFA RDMA write (por ejemplo, p5), LMCache 0.5.8rc1 o posterior, vLLM 0.11.1+ o SGLang 0.5.13+, y ElastiCache for Valkey 9.1+ en nodos cache.i8ge.48xlarge. El tiempo de GPU liberado se convierte en dinero solo si reduces el número de servidores o atiendes más tráfico con los mismos. Si tienes conversaciones largas de varios turnos, RAG o sesiones de agentes reanudables sobre tus propias GPU, primero registra una traza con KVTrace durante una jornada laboral.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.