Cómo ejecutar una red neuronal a menor costo: TurboQuant de Google optimiza la memoria

Google ha presentado TurboQuant, un método de compresión de la caché KV que puede reducir la memoria necesaria para la inferencia al menos seis veces y acelerar el cálculo de la atención. Es especialmente relevante para ejecutar LLM en local y para conversaciones largas. La técnica no actúa sobre los pesos del modelo, sino sobre su memoria de trabajo durante la generación. Sin embargo, es poco probable que frene el aumento del gasto total en infraestructura de IA.