NVIDIA presenta KVTC: una técnica de compresión de la caché de los LLM que promete reducirla 20 veces y acelerar las redes neuronales

# NVIDIA presenta KVTC: una técnica de compresión de la caché de los LLM que promete reducirla 20 veces y acelerar las redes neuronales

La industria de la inteligencia artificial se ha topado con una paradoja: cuanto más potentes son los modelos de lenguaje, más lentos funcionan. Investigadores de NVIDIA han identificado el origen de esa lentitud y proponen una solución radical. La nueva arquitectura KVTC comprime veinte veces la caché de datos auxiliares y elimina el principal cuello de botella que frena el procesamiento de solicitudes en las redes neuronales actuales. Este desarrollo puede cambiar la economía de la IA en la nube, ya que permitiría a las empresas atender a varias veces más usuarios con un solo servidor.

El problema estaba en la propia arquitectura de los transformadores, sobre la que se construyen ChatGPT, Claude, Gemini y el resto de los LLM. Cuando un modelo procesa texto, crea una caché KV especial que almacena las claves y los valores de cada token, necesarios para calcular la atención en las siguientes etapas de la generación. Suena técnico, pero la idea es sencilla: son datos intermedios sin los cuales el modelo no puede continuar la conversación.

A medida que crece el modelo y aumenta el contexto (la cantidad de palabras que recuerda), esta caché crece de forma exponencial. En los LLM avanzados, con decenas de miles de millones de parámetros, la caché KV puede ocupar decenas de gigabytes de memoria de vídeo de la GPU. Al trabajar con documentos largos o cuando un servidor debe atender a cientos de usuarios a la vez, la memoria se llena por completo y el sistema empieza a bloquearse.

El equipo de NVIDIA propone usar codificación por transformación para comprimir esta caché sin perder calidad en las respuestas. KVTC funciona como un compresor inteligente: el sistema analiza qué partes de la caché KV son realmente críticas para la precisión y cuáles pueden descartarse o cuantizarse sin riesgo. En pruebas prácticas, el método logra una compresión de 20 veces con una caída mínima del rendimiento del modelo. No es solo una reducción de memoria, sino un replanteamiento fundamental de cómo los transformadores almacenan sus datos auxiliares.

La importancia de este avance es difícil de exagerar. Según distintos estudios, el servicio de LLM en la nube representa hasta el 60 % del gasto de los centros de datos en memoria y cómputo. Si KVTC permite a una empresa alojar cuatro veces más solicitudes simultáneas con el mismo hardware, eso supone una reducción de cuatro veces en el coste por token. Para un servicio como ChatGPT o Claude, que atiende millones de solicitudes al día, esto significa cientos de millones de dólares de ahorro. Además, los usuarios obtendrían una generación de texto más rápida, porque una caché alojada en memoria más veloz se procesa notablemente antes.

La adopción de KVTC también ampliará el acceso a la IA. Las empresas que no pueden permitirse enormes clústeres de GPU costosas podrán ejecutar modelos potentes en hardware más modesto. Esto es especialmente importante para las startups y para las compañías fuera de los grandes polos tecnológicos. Los investigadores de NVIDIA ya han compartido documentación detallada del método, lo que debería permitir a la comunidad integrar KVTC con rapidez en frameworks populares como vLLM y TensorRT-LLM.

Aunque KVTC resuelve un problema técnico concreto, apunta a una tendencia más amplia en la industria de la IA: el futuro pertenece a los ingenieros que saben hacer los modelos no más grandes y complejos, sino más eficientes. Cuando el tamaño de los modelos ya alcanza límites físicos y económicos, la optimización se convierte en una ventaja competitiva. NVIDIA demuestra que en la vanguardia de la IA aún queda espacio para innovaciones realmente valiosas, no en la arquitectura de los modelos, sino en cómo ejecutarlos en la práctica en el mundo real.