PrefixSim: un simulador de caché KV de código abierto compara más de 40 políticas de expulsión

Si ejecutas LLM en producción, seguramente ya has oído hablar de la caché de prefijos. La idea es sencilla: muchas solicitudes comparten el mismo inicio, ya sea un prompt de sistema, una descripción de herramientas o el historial de conversación. No hace falta volver a calcular la caché KV de ese prefijo cada vez: se puede guardar y reutilizar. Pero la memoria de la GPU es finita y, tarde o temprano, la caché tiene que expulsar algo. Lo que descartes determina cuánto tiempo de GPU se desperdicia.

Ese es el problema que intenta resolver PrefixSim, un proyecto que Juncheng Yang (@1a1a11a) ha publicado como código abierto. Se trata de un simulador rápido de caché de bloques KV para servir LLM. Los autores también publicaron dos conjuntos de datos con trazas de cargas de trabajo. Una salvedad: la publicación original en X se corta a mitad de frase, así que lo que sigue recoge únicamente lo que afirma de forma explícita. Los detalles, como el formato de las trazas y la licencia, deben consultarse en el repositorio.

Qué problema resuelve

Las políticas de caché tradicionales, como LRU, se diseñaron para páginas web y bloques de disco. Los bloques KV tienen otras particularidades. Se organizan en un árbol de prefijos: un bloque al principio de una cadena es necesario para todos los que vienen después. Expulsar un bloque raíz «antiguo» supone inutilizar toda una rama. Además, el coste computacional varía entre bloques: recalcular un prefijo largo resulta mucho más caro que recalcular uno corto.

Por eso, la habitual tasa de aciertos puede resultar engañosa en este contexto. Los autores de PrefixSim señalan explícitamente el ahorro de cómputo como criterio principal: cuánto trabajo de prefill se ha evitado. Dos políticas con la misma tasa de aciertos pueden ofrecer ahorros de GPU muy distintos.

Cómo funciona en la práctica

Imagina un asistente de chat con un prompt de sistema largo y decenas de miles de sesiones al día. Tomas una traza real de solicitudes y la reproduces en el simulador con distintas políticas de expulsión. Según el autor, hay más de 40. Los resultados muestran cuál ahorra más cómputo con la cantidad de memoria que has reservado para la caché.

La palabra clave es «reales». Las cargas sintéticas suelen arrojar cifras atractivas que luego no se reproducen en producción. Por eso, la publicación de dos conjuntos de datos abiertos con trazas de inferencia ya es útil por sí misma: ofrece a la comunidad una base común de comparación, en lugar de una colección de benchmarks internos que no son comparables entre sí.

Otro motivo por el que el simulador resulta valioso es el coste de experimentar. Probar una política de expulsión en un clúster en funcionamiento lleva tiempo y entraña riesgos: hay que modificar el motor, desplegar los cambios y esperar a recibir tráfico representativo. Simular una traza registrada lleva minutos y no rompe nada.

Qué hacer con él

Si estás construyendo tu propia pila de inferencia o ajustando vLLM, SGLang o motores similares, PrefixSim permite comprobar si estás desaprovechando oportunidades de ahorro. Registra una traza de tu carga de trabajo, pásala por el simulador y compara tu política actual con las alternativas. Si la diferencia en el ahorro de prefill es considerable, tendrás un argumento para mejorar la caché. Si no, al menos sabrás que la opción estándar responde a tus necesidades.

Para responsables de producto y fundadores, la conclusión útil es otra: la eficiencia de la caché influye directamente en el tiempo hasta el primer token y en el coste por solicitud. En servicios con prefijos compartidos largos, como agentes, asistentes RAG y asistentes de programación, puede representar una partida de gasto importante.

Limitaciones

Un simulador sigue siendo un modelo. No contempla todo lo que ocurre en un motor real: fragmentación de memoria, planificación o sobrecarga de las colas. Los resultados obtenidos con trazas de empresas concretas no tienen por qué trasladarse a tu carga de trabajo. Tampoco hemos visto aún validaciones independientes: en el momento de la publicación, se trataba de un anuncio en X con unas 7.500 visualizaciones. Aun así, tanto por la herramienta como por los datos abiertos que aporta a un ámbito debatido y poco valorado de la inferencia con LLM, el proyecto parece merecer una tarde de exploración.