Google presenta TurboQuant, una caché KV de 3 bits para LLM, pero el mercado de memoria se asustó demasiado pronto

Google Research ha presentado TurboQuant, un algoritmo que promete comprimir la caché KV de los modelos de lenguaje hasta 3 bits sin reentrenamiento y casi sin pérdida de calidad. Estas afirmaciones asustaron rápidamente al mercado de memoria, aunque la revolución real en los centros de datos queda lejos.

Por qué se movió el mercado

El 24 de marzo de 2026 Google Research publicó un artículo sobre TurboQuant y, dos días después, los inversores empezaron a vender acciones de empresas ligadas a la memoria. SK Hynix perdió un 6,23 %, Samsung un 4,8 %, y Micron y SanDisk, en EE. UU., cayeron aproximadamente un 5 % y un 8 %. La lógica del mercado parecía directa: si los modelos grandes pueden arreglárselas con una memoria varias veces menor para la inferencia, la demanda de HBM y DRAM en los centros de datos también debería bajar. Pero esa lectura fue demasiado burda y no tuvo en cuenta dónde aporta exactamente TurboQuant su ventaja.

El problema al que apunta el algoritmo no afecta a toda la memoria del modelo, sino solo a la caché KV. Son las representaciones auxiliares de los tokens que el transformer almacena durante la generación de texto para no recalcularlas en cada paso. Con contexto corto, la caché KV apenas molesta, pero con contexto largo se convierte en el principal consumidor de memoria. En modelos grandes con ventanas de decenas y cientos de miles de tokens, esa caché puede ocupar decenas de gigabytes y convertirse en un cuello de botella en la inferencia masiva.

Qué hace TurboQuant

La industria aprendió hace tiempo a cuantizar los pesos de los modelos, con GPTQ, AWQ y otros enfoques. Con la caché KV la situación es más compleja, porque se genera en tiempo real y es única para cada solicitud. No se pueden preparar los datos una vez, calibrar un esquema y aplicarlo sin más en todas partes. Hace falta un método capaz de comprimir sobre la marcha cualquier vector nuevo sin destrozar la calidad de las respuestas en contextos largos. Esa es la tarea que intenta resolver TurboQuant.

El esquema de Google tiene dos etapas. Primero, la etapa PolarQuant rota el vector con una matriz ortogonal aleatoria para que la distribución de los valores sea más uniforme y predecible. Después se puede aplicar un cuantizador óptimo precalculado, sin datos de calibración. A continuación entra la etapa QJL, que codifica el signo del error residual en un solo bit y reduce el sesgo sistemático en los productos escalares. Así, el error se acumula de forma menos notable en una secuencia larga de tokens y el modelo conserva mejor la calidad de la respuesta.

• Representación de 3 bits de la caché KV sin reentrenar el modelo
• Hasta 8 veces más rápido el cálculo de logits de atención en H100, según los autores
• Al menos 6 veces menos VRAM para la propia caché KV
• Sin calibración offline obligatoria para cada modelo concreto

Dónde están los límites del método

El matiz más importante es que la tecnología aún no parece un estándar industrial. La comunidad ya ha observado que, en modelos pequeños de hasta 3B parámetros, la compresión agresiva a 3 bits puede degradar notablemente la calidad, provocar repeticiones y empeorar la coherencia del texto. Para muchos escenarios prácticos, el modo de 4 bits sigue siendo la opción más segura.

Además, Google solo ha publicado por ahora una entrada de blog y un preprint. Todavía no hay una implementación oficial y, a 29 de abril de 2026, el algoritmo no está integrado en vLLM, llama.cpp ni SGLang.

Hay también un conflicto científico sobre la prioridad de la idea. Jianyang Gao, uno de los autores del algoritmo anterior RaBitQ, afirmó que TurboQuant se parece demasiado a su enfoque y que, además, describe de forma incorrecta a su predecesor. Entre las quejas figuran minimizar la similitud metodológica, una crítica discutible a la teoría de RaBitQ y una comparación en condiciones desiguales: TurboQuant se probó en una GPU A100, mientras que RaBitQ, en uno de los benchmarks, se ejecutó en Python monohilo. La queja ya se ha presentado ante el comité de ética de ICLR, y Google aún no ha dado una respuesta pública.

Qué significa

TurboQuant no parece un desplome para el mercado de memoria, sino una mejora notable en un cuello de botella concreto de la inferencia de LLM. Si Google publica el código y el método entra en los stacks estándar, los contextos largos serán más baratos y ejecutar modelos grandes en hardware más modesto será más realista. Pero ahora mismo es más un resultado de investigación importante que un vuelco industrial ya listo.