Google presenta TurboQuant: compresión de 6 veces de la caché KV de los LLM sin pérdida de precisión

Google Research ha presentado TurboQuant, un algoritmo de compresión de la caché KV para grandes modelos de lenguaje que pretende eliminar una de las principales limitaciones del contexto largo. Según la compañía, el método reduce el consumo de memoria al menos seis veces y, en algunas configuraciones, acelera el cálculo del attention hasta ocho veces, sin pérdida de calidad en las tareas de prueba.

Por qué la caché KV frena el rendimiento

Cuando un LLM trabaja con un contexto largo, guarda claves y valores intermedios en la caché KV para no recalcularlos en cada token. Esto ahorra cómputo, pero enseguida choca con el límite de memoria: cuanto mayor es el modelo y más largo el diálogo o el documento, más crece la caché. Como resultado, el cuello de botella no es solo la GPU, sino también el intercambio de datos entre la SRAM rápida y la memoria HBM. En inferencia esto resulta especialmente doloroso, porque las solicitudes largas se encarecen de forma notable tanto en latencia como en hardware.

Google compara la caché KV con una «chuleta digital de alta velocidad»

que el modelo usa en lugar de repetir cálculos.

La cuantización convencional resuelve el problema en parte, pero tiene un efecto secundario: junto con los datos comprimidos hay que almacenar constantes de cuantización adicionales. Esos bits extra se comen parte del beneficio, sobre todo cuando se trata de miles de millones de valores dentro de un contexto largo. Sobre este punto construye Google TurboQuant: la idea no es simplemente comprimir los vectores más, sino eliminar el overhead adicional que impide lograr un ahorro real de memoria.

Cómo funciona TurboQuant

TurboQuant consta de dos etapas. Primero se usa PolarQuant: el algoritmo rota aleatoriamente los vectores, los convierte a una representación más cómoda y después cuantiza cada coordenada por separado. Este enfoque conserva la estructura principal de los datos originales sin una puesta a punto compleja para cada bloque.

A continuación entra en juego la segunda capa: Quantized Johnson-Lindenstrauss, o QJL. Toma el error residual de la primera etapa y lo codifica con un bit adicional para eliminar el sesgo sistemático al calcular el producto interno (inner product) y el attention score.

En la práctica esto importa por dos motivos. Primero, TurboQuant sigue siendo data-oblivious: no necesita conjuntos de datos de calibración, entrenamiento adicional ni fine-tuning para un modelo concreto. Segundo, el método sirve para escenarios online, en los que la caché debe comprimirse durante la propia inferencia, en lugar de preparar un pipeline offline aparte.

Google subraya que este esquema es útil no solo para los LLM, sino también para la búsqueda vectorial, donde igualmente hay que almacenar y comparar de forma rápida y barata grandes volúmenes de embeddings. La compañía prepara la presentación del propio TurboQuant en ICLR 2026.

Qué resultados obtuvo Google

Google probó TurboQuant en LongBench, Needle In A Haystack, ZeroSCROLLS, RULER y L-Eval, con los modelos abiertos Gemma y Mistral. Según la compañía, TurboQuant mantiene la calidad en tareas de contexto largo y reduce de forma notable la caché KV. En el blog de Google se destaca la cuantización de 3 bits sin pérdida de calidad en los benchmarks probados, mientras que en el abstract del artículo en arXiv se señala por separado la conservación total de la calidad con 3,5 bits por canal y solo una pequeña degradación con 2,5 bits.

• reducción de al menos 6 veces de la memoria de la caché KV
• aceleración de hasta 8 veces en el cálculo de attention logits en una H100 con configuración de 4 bits, frente a claves de 32 bits sin cuantizar
• sin necesidad de reentrenamiento, fine-tuning ni conjuntos de datos de calibración
• buenos resultados también en búsqueda vectorial: TurboQuant superó a los métodos de referencia PQ y RabbiQ en recall en el conjunto de datos GloVe

Google apuesta además por aplicar el método a la búsqueda. TurboQuant, PolarQuant y QJL reducen no solo el consumo de memoria, sino también el tiempo de construcción del índice, y mantienen la precisión de la búsqueda de vecinos más cercanos. Eso hace que la tecnología resulte interesante no solo para los modelos generativos, sino para cualquier infraestructura que maneje colecciones enormes de vectores: desde la búsqueda semántica hasta los sistemas de recomendación y la capa de retrieval de los productos de IA.

Qué significa

TurboQuant muestra que la próxima gran mejora para los LLM puede venir no de nuevos parámetros del modelo, sino de una gestión más inteligente de la memoria. Si el enfoque de Google se confirma en producción y llega a las pilas de inferencia más populares, el contexto largo será más barato, más rápido y más accesible incluso sin renovar el hardware. Para los desarrolladores es la oportunidad de meter sesiones más largas y escenarios RAG en el mismo presupuesto de GPU, y para los usuarios, de obtener respuestas más estables con documentos grandes y diálogos largos.