Google dévoile TurboQuant, un algorithme qui compresse jusqu'à six fois la mémoire de travail de l'IA

Google a annoncé TurboQuant, un nouvel algorithme de compression de la mémoire de travail des réseaux de neurones qui, selon l'entreprise, peut réduire la consommation de mémoire jusqu'à six fois. L'annonce a aussitôt déclenché une vague de plaisanteries dans la communauté technologique : des utilisateurs du monde entier le comparent à Pied Piper, l'algorithme fictif de la série HBO « Silicon Valley », devenu un symbole culte du battage technologique infondé.

Pour l'instant, TurboQuant reste une expérience de laboratoire : l'entreprise n'a présenté ni article technique, ni code public, ni calendrier de déploiement commercial.

Pourquoi la mémoire des réseaux de neurones est un problème critique

Les grands modèles de langage exigent des quantités colossales de mémoire GPU. Le problème a deux dimensions. La première est statique : les poids du modèle eux-mêmes. Llama 3.1 et ses 70 milliards de paramètres occupe environ 140 gigaoctets en pleine précision.

La seconde dimension est dynamique : les calculs intermédiaires que le modèle effectue pour traiter chaque requête. Ces données temporaires s'appellent des activations et, avec de longs contextes, elles deviennent le principal goulot d'étranglement. Lorsqu'un modèle traite un document de 100 000 tokens, il doit conserver en mémoire les résultats des calculs de chaque couche pour chaque token : c'est ce qu'on appelle le KV cache. Le volume de ces données croît linéairement avec la longueur du contexte et, pour des entrées suffisamment longues, peut dépasser celui des poids eux-mêmes.

C'est là que TurboQuant propose une solution radicale.

Comment fonctionne TurboQuant

L'algorithme applique la quantification, une technique qui réduit la précision numérique des représentations, directement aux activations en temps réel. Depuis des décennies, la quantification standard s'applique aux poids statiques des modèles : au lieu de nombres à virgule flottante sur 32 bits, on utilise des entiers sur 8 ou 4 bits. Cela fonctionne bien pour des poids figés, car la plage de valeurs est prévisible.

Les activations, c'est une tout autre affaire. Leurs valeurs varient de façon imprévisible selon la requête, ce qui rend la quantification standard inefficace sans perte de qualité.

Google affirme que TurboQuant résout ce problème grâce à des méthodes adaptatives qui tiennent compte des statistiques des activations à la volée. Selon l'entreprise, cela permet d'obtenir une compression par six sans dégradation significative de la qualité des réponses.

Ce que signifierait la confirmation des résultats

Même un résultat pratique plus modeste, une compression par deux ou trois, changerait l'économie de l'infrastructure d'IA. Les plus grands fournisseurs de cloud dépensent chaque année des dizaines de milliards de dollars en infrastructure GPU pour répondre aux requêtes adressées aux modèles. Une part importante de ces coûts tient précisément aux besoins en mémoire lors de l'inférence.

Compresser les activations permettrait de faire tourner des modèles plus puissants sur le même matériel, de réduire la latence grâce à moins d'opérations mémoire, et de traiter de longs contextes sans dégradation des performances.

Pour les appareils edge, les conséquences sont encore plus importantes. Aujourd'hui, exécuter des modèles du niveau de Llama 3.1 70B exige plusieurs cartes graphiques ou de lourds compromis sur la précision. TurboQuant pourrait abaisser nettement ce seuil et ouvrir des modèles puissants aux ordinateurs portables et stations de travail disposant de peu de mémoire.

Le phénomène Pied Piper et ce qu'il y a derrière

La comparaison avec Pied Piper n'est pas qu'un mème. Dans la série, une start-up fictive crée un algorithme de compression universel aux caractéristiques fantastiques, fondé sur un original « score de Weissman ». Les parallèles avec TurboQuant sont évidents : des chiffres révolutionnaires, un code fermé et l'absence de vérification indépendante.

La différence, c'est que Google DeepMind n'est pas une start-up de garage. L'entreprise peut se prévaloir d'un long palmarès de réussites concrètes en matière d'efficacité : Flash Attention, optimisation du KV cache, algorithmes de distillation. Si TurboQuant a passé la relecture interne et a été annoncé publiquement, un résultat réel se cache très probablement derrière.

La prochaine étape indispensable est une publication sur arXiv et la reproduction indépendante des chiffres par des chercheurs extérieurs. D'ici là, TurboQuant reste une promesse. Si les résultats se confirment, les blagues sur Pied Piper disparaîtront avec le problème de la mémoire des réseaux de neurones, et ce serait une bonne issue.