Google presenta TurboQuant: un algoritmo que reduce seis veces la memoria de los modelos de IA

Google presenta TurboQuant: un algoritmo que reduce seis veces la memoria de los modelos de IA

El rápido avance de los grandes modelos de lenguaje ha chocado con una barrera física severa: el crecimiento exponencial de los requisitos de potencia de cálculo y de memoria RAM. Durante mucho tiempo pareció que escalar la inteligencia artificial seguiría siendo prerrogativa de las corporaciones con presupuestos ilimitados para equipos de servidores, pero un equipo de investigadores de Google Research ha propuesto una solución elegante a este problema. Su tecnología, TurboQuant, un algoritmo de cuantización innovador, supone un auténtico salto en la optimización de redes neuronales.

Los ingenieros han conseguido reducir seis veces el consumo de memoria de los modelos y, al mismo tiempo, mantener por completo la precisión original en la generación de respuestas. El hallazgo señala el paso de ampliar el hardware de servidores de forma extensiva a aprovechar de manera más inteligente e intensiva las arquitecturas ya existentes.

Para entender la magnitud del avance conviene saber qué es lo que más memoria consume en los sistemas generativos actuales: el llamado KV-cache. Al procesar lenguaje natural, los modelos transformer almacenan los cálculos intermedios de claves y valores de cada token. Así la red neuronal recuerda el contexto de la conversación y no tiene que recalcular los datos anteriores cada vez que genera la palabra siguiente.

Con una precisión estándar de dieciséis o treinta y dos bits, este caché crece hasta tamaños colosales a medida que aumenta la longitud de la consulta del usuario. En la práctica, los aceleradores de IA más avanzados llenan su costosa memoria no tanto con los pesos del propio modelo como con el contexto de las sesiones en curso. Hasta ahora, los intentos de comprimir estos datos de forma agresiva provocaban una caída inaceptable de la calidad de las respuestas o exigían reentrenar todo el sistema con los nuevos parámetros durante meses y con un enorme gasto de recursos.

La esencia de TurboQuant es comprimir la precisión del KV-cache hasta unos inéditos tres bits. La cuantización, el proceso matemático que convierte valores continuos o de alta precisión en equivalentes discretos de baja precisión, se conoce desde hace tiempo, pero los especialistas de Google Research han logrado sortear sus principales escollos. En su arquitectura han incorporado un mecanismo inteligente de compensación de pérdidas: en la práctica se utiliza un formato de cuatro bits en el que tres bits representan el valor comprimido y un bit adicional se dedica exclusivamente a la corrección matemática de errores.

Este enfoque permitió conservar los matices más sutiles de las activaciones dentro de la red neuronal. Pero el aspecto más llamativo de la tecnología es que el algoritmo se aplica prácticamente al vuelo y no requiere en absoluto volver a entrenar las gigantescas matrices de parámetros, lo que por sí solo ahorra millones de dólares en tiempo de cómputo.

Las pruebas prácticas del nuevo algoritmo, realizadas con los aceleradores de inteligencia artificial insignia Nvidia H100, arrojaron resultados espectaculares que respaldan los planteamientos teóricos. Combinada con procesadores gráficos modernos, la versión de cuatro bits de TurboQuant multiplicó por ocho la velocidad de cálculo de los logits de atención en comparación con las claves tradicionales de treinta y dos bits sin cuantizar. Las matemáticas de la inferencia neuronal cambiaron: en lugar de gastar valiosos ciclos de reloj en transferir bloques de datos pesados entre los niveles de memoria, los chips operan ahora con paquetes ultracompactos.

Además, el volumen total de caché utilizado se redujo exactamente seis veces. El modelo funciona varias veces más rápido, necesita muchas veces menos espacio y ofrece un resultado de idéntica calidad, lo que en la industria del hardware se considera el escenario ideal de optimización.

Las consecuencias de este avance para el mercado global de la inteligencia artificial son difíciles de exagerar. En primer lugar, la reducción radical del apetito de hardware de los grandes modelos de lenguaje abre la puerta a ejecutarlos en equipos menos potentes y, por tanto, más accesibles. Si antes desplegar una red neuronal corporativa exigía clústeres de decenas de tarjetas gráficas de gama alta, ahora se podrá obtener un rendimiento equivalente con hardware de generaciones anteriores o con bastantes menos chips modernos.

Para los gigantes tecnológicos, esto significa un abaratamiento enorme del escalado de los servicios de IA en la nube y un menor consumo energético de los centros de datos, un asunto que en los últimos años ha generado una preocupación considerable. Para las startups, supone una oportunidad única de competir en el campo de la inteligencia artificial generativa sin tener que captar inversiones astronómicas para comprar servidores.

En conclusión, puede afirmarse con seguridad que el desarrollo de Google Research desplaza el foco de toda la industria: de la carrera interminable por la potencia de cálculo a la elegancia de los algoritmos matemáticos. TurboQuant demuestra que el límite de eficiencia de las redes neuronales actuales está lejos de haberse alcanzado y que la arquitectura de los transformers esconde enormes reservas sin aprovechar. A medida que el algoritmo se integre en frameworks abiertos y productos comerciales, es probable que la industria vea una nueva oleada de aplicaciones de IA capaces de procesar enormes ventanas de contexto con costes mínimos.

La inteligencia artificial se vuelve no solo más funcional, sino también más económica, y da así otro paso firme hacia una adopción sostenible y generalizada en nuestra vida cotidiana.