SemanticZip : pourquoi la tentative de compresser le sens par 14 s'est fracassée sur le réel

Nous avons pris l'habitude de mesurer les progrès des réseaux de neurones à la taille de la fenêtre de contexte. D'abord 4 mille tokens, puis 128 mille, et aujourd'hui Google en promet des millions. Mais et si l'on abordait le problème par le mauvais bout ?

Au lieu de construire d'immenses « granges » à données, le développeur du prototype SemanticZip a tenté de rendre les données elles-mêmes ultradenses. L'idée est simple et élégante : pourquoi conserver dans un texte des mots que le réseau de neurones peut deviner seul ? C'est une tentative de transposer la théorie de l'information de Shannon et la complexité de Kolmogorov dans le monde des grands modèles de langage, en faisant de l'IA une sorte d'archiveur de sens.

SemanticZip repose sur le principe de suppression de la redondance. Si l'on dit « la capitale de la France est... », aucun algorithme moderne n'a besoin du mot « Paris » pour saisir le message. Le prototype fonctionnait exactement ainsi : il éliminait du texte tout ce qui lui paraissait évident, ne gardant que le noyau sémantique unique. En théorie, cela réduisait par 14 le volume d'informations transmis. Imaginez que, au lieu de « Guerre et Paix », vous donniez au réseau de neurones une mince brochure, et qu'il reconstitue à la volée toutes les digressions philosophiques de Tolstoï. On dirait une singularité technologique qui aurait dû arriver hier.

Or, lors du bilan, il est apparu que ce beau modèle mathématique se brise sur l'imprévisibilité des LLM actuels. Le problème se situait dans la décompression. Quand on décompresse une archive ZIP ordinaire, on récupère le fichier d'origine bit à bit. Avec la « compression sémantique », on demande au réseau de neurones de deviner ce qui a été omis. Et c'est là que le chaos commence. Il suffit que le modèle se trompe sur un adjectif ou une conjonction clé pour que le sens de toute la phrase s'inverse. Les modèles actuels ne possèdent pas encore le degré de déterminisme nécessaire pour travailler avec des données ultradenses.

L'auteur du projet a reconnu franchement que les belles métaphores sur la « compression du sens » perdent face au RAG (Retrieval-Augmented Generation), ennuyeux et terre à terre. Le RAG ne cherche pas à faire tenir toute la connaissance du monde en trois lignes. Il va simplement dans la base de données et en extrait le bon passage, dans sa forme originale et redondante.

Certes, cela demande plus de mémoire et de puissance de calcul, mais cela marche. L'industrie de l'IA observe aujourd'hui une nette tendance à la simplification : plutôt que des surcouches complexes sur la logique des modèles, les développeurs choisissent des méthodes fiables d'acheminement du contexte. La redondance que nous avons tant voulu vaincre s'est révélée essentielle à la précision.

Cette expérience a mis en lumière un problème important : nous comprenons encore mal comment les réseaux de neurones stockent et récupèrent l'information. Nous essayons de leur imposer une logique de compression humaine, alors qu'ils opèrent avec des probabilités. Tant que la probabilité d'erreur lors de la « décompression » du sens n'est pas nulle, ces systèmes resteront de simples jouets intéressants pour passionnés. La tentative d'économiser des tokens a fait chuter la valeur de l'information elle-même, en raison du risque de déformation. C'est comparable au JPEG : sous forte compression, l'image reste reconnaissable, mais les détails virent à la bouillie. Dans un texte, cette « bouillie » peut coûter trop cher.

L'avenir n'appartient probablement pas aux archiveurs magiques, mais à l'optimisation des architectures des modèles eux-mêmes. Pour l'instant, il faudra se résigner à ce que transmettre une pensée complexe demande beaucoup de mots. La tentative de duper les mathématiques et de faire « réfléchir » l'IA à notre place n'a produit, pour l'heure, que des prototypes beaux mais inutiles. Nous vivons encore à l'époque où la quantité se transforme en qualité, sans être remplacée par elle.

L'essentiel : la redondance n'est pas un bug, mais une fonctionnalité qui garantit la stabilité de l'IA. Pourrons-nous un jour faire confiance au sens « compressé » comme nous faisons confiance aux archives ZIP ?