SemanticZip : pourquoi la tentative de compression du sens 14 fois s'est heurtée à la réalité

Nous avons l'habitude de mesurer les progrès dans les réseaux de neurones par la taille de la fenêtre de contexte. D'abord, il y avait 4 mille tokens, puis 128 mille, et maintenant Google promet même des millions. Mais et si nous abordions le problème sous le mauvais angle ?

Au lieu de construire d'énormes « granges » pour les données, le développeur du prototype SemanticZip a tenté de rendre les données elles-mêmes super-denses. L'idée est simple et élégante : pourquoi stocker dans le texte des mots qu'un réseau de neurones peut facilement deviner par lui-même ? Ceci est une tentative de transférer la théorie de l'information de Shannon et la complexité de Kolmogorov dans le monde des grands modèles de langage, transformant l'IA en une sorte d'archiveur de sens.

Au cœur de SemanticZip se trouve le concept d'élimination de la redondance. Si nous disons « la capitale de la France est... », n'importe quel algorithme moderne n'a pas besoin du mot « Paris » pour comprendre l'essence du message.

Le prototype fonctionnait exactement de cette façon : il supprimait du texte tout ce qui semblait évident, en ne laissant que le noyau sémantique unique. En théorie, cela permettait de réduire le volume d'informations transmises d'un facteur de 14. Imaginez qu'au lieu de « Guerre et Paix » vous transmettez au réseau de neurones une fine brochure, et qu'il restaure à la volée toutes les digressions philosophiques de Tolstoï.

Cela semble être la singularité technologique qui aurait dû arriver hier.

Cependant, lors de la phase « d'analyse des résultats », il s'est avéré que le beau modèle mathématique s'écrase contre l'imprévisibilité des LLM modernes. Le problème s'est avéré être dans le processus de décompression. Quand nous décompressons une archive ZIP ordinaire, nous obtenons bit par bit le fichier original.

Dans le cas de la « compression sémantique », nous demandons au réseau de neurones de deviner exactement ce qui a été omis. Et c'est là que le chaos commence. Il suffit que le modèle fasse une erreur dans un adjectif clé ou une conjonction, et tout le sens de la phrase change au contraire.

Il s'est avéré que les modèles modernes ne possèdent pas encore le degré de déterminisme nécessaire pour fonctionner avec des données super-denses.

L'auteur du projet a honnêtement reconnu : les belles métaphores sur la « compression du sens » perdent face à la plate RAG (Retrieval-Augmented Generation). RAG n'essaie pas de compacter toutes les connaissances du monde en trois lignes. Il va simplement à la base de données et récupère le morceau de texte nécessaire dans sa forme originale, redondante.

Oui, cela nécessite plus de mémoire et de puissance de calcul, mais ça marche. Dans l'industrie de l'IA, il y a maintenant une tendance claire vers la simplification : au lieu de couches complexes construites sur la logique du modèle, les développeurs choisissent des méthodes fiables pour livrer le contexte. La redondance que nous avons tellement essayé de vaincre s'est avérée être critique pour la précision.

Cette expérience a mis en lumière un problème important : nous comprenons encore mal comment les réseaux de neurones stockent et récupèrent les informations. Nous essayons de leur imposer la logique humaine de compression, tandis qu'elles opèrent sur des probabilités. Tant que la probabilité d'erreur lors de la « décompression » du sens est différente de zéro, de tels systèmes resteront simplement des jouets intéressants pour les passionnés.

La tentative d'économiser des tokens a conduit au fait que la valeur de l'information elle-même a chuté en raison du risque de distorsions. Cela rappelle la situation avec JPEG : avec une compression forte, l'image est toujours reconnaissable, mais les détails deviennent une bouillie. Dans le texte, une telle « bouillie » peut coûter beaucoup trop cher.

L'avenir, probablement, ne sera pas avec des archiveurs magiques mais avec l'optimisation des architectures des modèles eux-mêmes. Pour l'instant, nous devrons nous résigner au fait que transmettre une pensée complexe nécessite beaucoup de mots. La tentative de tricher avec les mathématiques et de faire deviner à l'IA pour nous mène jusqu'à présent uniquement à des prototypes beaux mais inutiles. Nous sommes toujours dans une ère où la quantité se transforme en qualité plutôt que de la remplacer.

L'essentiel : la redondance n'est pas un bug mais une caractéristique qui assure la stabilité de l'IA. Pourrons-nous un jour faire confiance aux sens « comprimés » autant que nous faisons confiance aux archives ZIP ?