Google dévoile TurboQuant : le cache KV des LLM compressé 6 fois sans perte de précision

Google Research a dévoilé TurboQuant, un algorithme de compression du cache KV pour les grands modèles de langage, censé lever l'une des principales limites du contexte long. Selon l'entreprise, la méthode réduit la consommation de mémoire d'au moins six fois et, dans certaines configurations, accélère le calcul de l'attention jusqu'à huit fois, sans perte de qualité sur les tâches de test.

Pourquoi le cache KV freine les modèles

Lorsqu'un LLM travaille sur un contexte long, il stocke des clés et des valeurs intermédiaires dans un cache KV pour ne pas les recalculer à chaque token. Cela économise du calcul, mais se heurte vite à la mémoire : plus le modèle est grand et plus la conversation ou le document est long, plus le cache enfle. Résultat, le goulot d'étranglement n'est pas seulement le GPU lui-même, mais aussi les échanges de données entre la SRAM rapide et la mémoire HBM. En inférence, c'est particulièrement pénalisant, car les requêtes longues deviennent nettement plus coûteuses, en latence comme en matériel.

Google compare le cache KV à un « antisèche numérique à haute vitesse

» que le modèle utilise au lieu de répéter des calculs.

La quantification classique résout en partie le problème, mais elle a un effet secondaire : il faut stocker, avec les données compressées, des constantes de quantification supplémentaires. Ces bits de surcharge grignotent une partie du gain, surtout quand il s'agit de milliards de valeurs dans un contexte long. C'est sur ce point que Google bâtit TurboQuant : l'idée n'est pas simplement de compresser les vecteurs plus fort, mais de supprimer l'overhead superflu qui empêche de réaliser une vraie économie de mémoire.

Comment fonctionne TurboQuant

TurboQuant se déroule en deux étapes. D'abord intervient PolarQuant : l'algorithme fait pivoter les vecteurs de façon aléatoire, les convertit vers une représentation plus pratique, puis quantifie chaque coordonnée séparément. Cette approche préserve la structure principale des données d'origine sans réglage complexe pour chaque bloc.

Vient ensuite la seconde couche : Quantized Johnson-Lindenstrauss, ou QJL. Elle prend l'erreur résiduelle de la première étape et la code sur un bit supplémentaire, de manière à supprimer le biais systématique lors du calcul du produit scalaire (inner product) et du score d'attention.

En pratique, cela compte pour deux raisons. D'abord, TurboQuant reste data-oblivious : il n'a besoin ni de jeux de données de calibration, ni d'entraînement supplémentaire, ni de fine-tuning pour un modèle donné. Ensuite, la méthode convient aux scénarios en ligne, où le cache doit être compressé pendant l'inférence elle-même, sans préparer un pipeline hors ligne distinct.

Google souligne que ce schéma est utile non seulement pour les LLM, mais aussi pour la recherche vectorielle, qui doit elle aussi stocker et comparer rapidement et à bas coût de grands ensembles d'embeddings. L'entreprise prépare la présentation de TurboQuant à l'ICLR 2026.

Les résultats annoncés par Google

Google a testé TurboQuant sur LongBench, Needle In A Haystack, ZeroSCROLLS, RULER et L-Eval, avec les modèles ouverts Gemma et Mistral. Selon l'entreprise, TurboQuant préserve la qualité sur les tâches à contexte long tout en réduisant nettement le cache KV. Le blog de Google met en avant une quantification sur 3 bits sans perte de qualité sur les benchmarks testés, tandis que l'abstract de l'article sur arXiv signale séparément une préservation complète de la qualité à 3,5 bits par canal et seulement une légère dégradation à 2,5 bits.

• réduction d'au moins 6 fois de la mémoire du cache KV
• accélération jusqu'à 8 fois du calcul des attention logits sur un H100 en configuration 4 bits, par rapport à des clés 32 bits non quantifiées
• aucun besoin de réentraînement, de fine-tuning ni de jeux de données de calibration
• de bons résultats aussi en recherche vectorielle : TurboQuant a devancé les méthodes de référence PQ et RabbiQ en recall sur le jeu de données GloVe

Google mise aussi sur l'application de la méthode à la recherche. TurboQuant, PolarQuant et QJL réduisent non seulement la consommation de mémoire, mais aussi le temps de construction de l'index, tout en préservant la précision de la recherche des plus proches voisins. La technologie devient ainsi intéressante non seulement pour les modèles génératifs, mais pour toute infrastructure qui manipule d'énormes collections de vecteurs : de la recherche sémantique aux systèmes de recommandation et à la couche de retrieval des produits d'IA.

Ce que cela signifie

TurboQuant montre que le prochain gros gain pour les LLM pourrait venir non pas de nouveaux paramètres du modèle, mais d'une gestion plus intelligente de la mémoire. Si l'approche de Google se confirme en production et arrive dans les piles d'inférence populaires, le contexte long deviendra moins cher, plus rapide et plus accessible, même sans mise à niveau matérielle. Pour les développeurs, c'est l'occasion de faire tenir des sessions plus longues et des scénarios RAG dans le même budget GPU ; pour les utilisateurs, d'obtenir des réponses plus stables sur de gros documents et de longues conversations.