Google presenta TurboQuant, un algoritmo que comprime hasta seis veces la memoria de trabajo de la IA

Google ha anunciado TurboQuant, un nuevo algoritmo de compresión de la memoria de trabajo de las redes neuronales que, según la compañía, puede reducir el consumo de memoria hasta seis veces. El anuncio desató de inmediato una oleada de bromas en la comunidad tecnológica: usuarios de todo el mundo lo comparan con Pied Piper, el algoritmo ficticio de la serie de HBO «Silicon Valley», convertido en símbolo de culto del bombo tecnológico infundado.

Por ahora, TurboQuant sigue siendo un experimento de laboratorio: la compañía no ha presentado ningún artículo técnico, ni código público, ni plazos de implantación comercial.

Por qué la memoria de las redes neuronales es un problema crítico

Los grandes modelos de lenguaje exigen cantidades colosales de memoria de GPU. El problema tiene dos dimensiones. La primera es estática: los propios pesos del modelo. Llama 3.1 con 70.000 millones de parámetros ocupa unos 140 gigabytes en precisión completa.

La segunda dimensión es dinámica: los cálculos intermedios que el modelo realiza al procesar cada consulta. Estos datos temporales se llaman activaciones y, con contextos largos, se convierten en el principal cuello de botella. Cuando un modelo procesa un documento de 100 000 tokens, debe mantener en memoria los resultados de los cálculos de cada capa para cada token: es lo que se conoce como KV cache. El volumen de estos datos crece linealmente con la longitud del contexto y, con entradas lo bastante largas, puede superar el de los propios pesos.

Aquí es donde TurboQuant propone una solución radical.

Cómo funciona TurboQuant

El algoritmo aplica cuantización, una técnica para reducir la precisión numérica de las representaciones, directamente a las activaciones en tiempo real. Durante décadas, la cuantización estándar se ha aplicado a los pesos estáticos de los modelos: en lugar de números de coma flotante de 32 bits, se usan enteros de 8 o 4 bits. Esto funciona bien con pesos inmutables, porque el rango de valores es predecible.

Las activaciones son otra cosa. Sus valores varían de forma impredecible según la consulta concreta, lo que hace ineficaz la cuantización estándar sin pérdida de calidad.

Google afirma que TurboQuant resuelve este problema con métodos adaptativos que tienen en cuenta la estadística de las activaciones sobre la marcha. Según la compañía, esto permite lograr una compresión de seis veces sin una degradación significativa de la calidad de las respuestas.

Qué significaría que los resultados se confirmaran

Incluso un resultado práctico más modesto, una compresión de dos a tres veces, cambiaría la economía de la infraestructura de IA. Los mayores proveedores de nube gastan decenas de miles de millones de dólares al año en infraestructura de GPU para atender las consultas a los modelos. Una parte considerable de ese gasto se debe precisamente a los requisitos de memoria durante la inferencia.

Comprimir las activaciones supondría modelos más potentes con el mismo hardware, menor latencia al reducirse las operaciones de memoria y la posibilidad de procesar contextos largos sin degradar el rendimiento.

Para los dispositivos edge, las consecuencias son aún mayores. Hoy, ejecutar modelos del nivel de Llama 3.1 70B exige varias tarjetas gráficas o compromisos agresivos de precisión. TurboQuant podría rebajar esa barrera de forma notable y llevar modelos potentes a portátiles y estaciones de trabajo con memoria limitada.

El fenómeno Pied Piper y lo que hay detrás

La comparación con Pied Piper no es solo un meme. En la serie, una startup ficticia crea un algoritmo de compresión universal con características fantásticas, basado en un original «coeficiente de Weissman». Los paralelismos con TurboQuant son evidentes: cifras revolucionarias, código cerrado y ausencia de verificación independiente.

La diferencia es que Google DeepMind no es una startup de garaje. La compañía tiene un largo historial de logros reales en eficiencia: Flash Attention, optimización de la KV cache, algoritmos de destilación. Si TurboQuant superó la revisión interna y se anunció públicamente, lo más probable es que detrás haya un resultado real.

El siguiente paso obligado es la publicación en arXiv y la reproducción independiente de las cifras por investigadores externos. Hasta entonces, TurboQuant sigue siendo una promesa. Si los resultados se confirman, los chistes sobre Pied Piper quedarán atrás junto con el problema de la memoria de las redes neuronales, y sería un buen desenlace.