Google dévoile TurboQuant, un cache KV à 3 bits pour les LLM, mais le marché de la mémoire a paniqué trop tôt

Google Research a présenté TurboQuant, un algorithme qui promet de compresser le cache KV des modèles de langage jusqu'à 3 bits, sans réentraînement et presque sans perte de qualité. Ces annonces ont vite effrayé le marché de la mémoire, alors qu'une vraie révolution dans les centres de données est encore loin.

Pourquoi le marché a réagi

Le 24 mars 2026, Google Research a publié un article sur TurboQuant et, deux jours plus tard, les investisseurs ont commencé à vendre les titres des entreprises liées à la mémoire. SK Hynix a perdu 6,23 %, Samsung 4,8 %, et Micron et SanDisk, aux États-Unis, ont reculé d'environ 5 % et 8 %. La logique du marché semblait directe : si les grands modèles peuvent se contenter d'une mémoire plusieurs fois moindre pour l'inférence, la demande de HBM et de DRAM dans les centres de données devrait elle aussi baisser. Mais cette lecture était trop grossière et ne tenait pas compte de l'endroit précis où TurboQuant apporte un gain.

Le problème visé par l'algorithme ne concerne pas toute la mémoire du modèle, uniquement le cache KV. Ce sont les représentations auxiliaires des tokens que le transformer conserve pendant la génération de texte pour ne pas les recalculer à chaque étape. Sur un contexte court, le cache KV gêne à peine, mais sur un contexte long, il devient le principal consommateur de mémoire. Pour les grands modèles dotés de fenêtres de dizaines ou de centaines de milliers de tokens, ce cache peut occuper des dizaines de gigaoctets et devenir un goulot d'étranglement en inférence massive.

Ce que fait TurboQuant

L'industrie sait depuis longtemps quantifier les poids des modèles, avec GPTQ, AWQ et d'autres approches. Pour le cache KV, la situation est plus délicate, car il est créé en temps réel et propre à chaque requête. On ne peut pas préparer les données une fois, calibrer un schéma puis l'appliquer partout. Il faut une méthode capable de compresser à la volée n'importe quel nouveau vecteur sans dégrader la qualité des réponses sur les longs contextes. C'est cette tâche que TurboQuant tente de résoudre.

Le schéma de Google comporte deux étapes. D'abord, l'étape PolarQuant fait pivoter le vecteur avec une matrice orthogonale aléatoire, afin que la distribution des valeurs devienne plus uniforme et prévisible. Ensuite, on peut appliquer un quantificateur optimal précalculé, sans données de calibration. Vient alors l'étape QJL, qui code le signe de l'erreur résiduelle sur un seul bit et réduit le biais systématique dans les produits scalaires. Ainsi, l'erreur s'accumule de façon moins visible sur une longue séquence de tokens, et le modèle préserve mieux la qualité de la réponse.

• Représentation du cache KV sur 3 bits sans réentraîner le modèle
• Jusqu'à 8 fois plus rapide pour le calcul des logits d'attention sur H100, selon les auteurs
• Au moins 6 fois moins de VRAM pour le cache KV lui-même
• Aucune calibration hors ligne obligatoire pour un modèle donné

Où se situent les limites de la méthode

La nuance la plus importante est que la technologie ne ressemble pas encore à un standard industriel. La communauté a déjà remarqué que, sur de petits modèles allant jusqu'à 3B paramètres, une compression agressive à 3 bits peut nettement dégrader la qualité, provoquer des répétitions et nuire à la cohérence du texte. Pour de nombreux cas pratiques, le mode 4 bits reste l'option la plus sûre.

Par ailleurs, Google n'a publié pour l'instant qu'un billet de blog et un preprint. Il n'existe pas encore d'implémentation officielle et, au 29 avril 2026, l'algorithme n'est intégré ni à vLLM, ni à llama.cpp, ni à SGLang.

Il existe aussi un conflit scientifique sur la paternité de l'idée. Jianyang Gao, l'un des auteurs de l'algorithme antérieur RaBitQ, a déclaré que TurboQuant est trop proche de leur approche tout en décrivant incorrectement son prédécesseur. Parmi les griefs : la minimisation de la similarité méthodologique, une critique contestable de la théorie de RaBitQ et une comparaison dans des conditions inégales : TurboQuant a été testé sur un GPU A100, tandis que RaBitQ, dans l'un des benchmarks, tournait sur du Python monothread. Une plainte a déjà été déposée auprès du comité d'éthique d'ICLR, et Google n'a pas encore répondu publiquement.

Ce que cela signifie

TurboQuant ne ressemble pas à un effondrement du marché de la mémoire, mais à une nette amélioration sur un goulot d'étranglement précis de l'inférence des LLM. Si Google publie le code et que la méthode entre dans les stacks standard, les longs contextes deviendront moins chers et l'exécution de grands modèles sur un matériel plus modeste sera plus réaliste. Mais pour l'instant, c'est plutôt un résultat de recherche important qu'un bouleversement industriel prêt à l'emploi.