MUX : un raisonnement continu pour les LLM grâce aux tokens multiplexés

En juillet 2026, des chercheurs ont publié sur arXiv MUX (multiplexed tokens), une méthode qui permet aux modèles de langage de raisonner dans un espace latent continu : un seul token latent y encode sans perte tout un fragment de la chaîne de raisonnement, au lieu d'un seul mot. Selon les auteurs, MUX a surpassé de solides baselines de raisonnement latent dans 32 configurations d'évaluation, sur quatre modèles de langage.

Pourquoi le raisonnement classique est lent

Les modèles de raisonnement classiques gaspillent du calcul : chaque étape de la chaîne de raisonnement ne transmet qu'un seul sous-mot, et une partie des étapes sert à formuler la pensée plutôt qu'à calculer. Les auteurs de MUX y voient un « goulot d'étranglement » computationnel : le modèle raisonne en langage naturel, si bien que le débit d'une étape est limité à la taille d'un seul token de type subword. Sur les chaînes longues, cela se traduit par du calcul superflu.

Que sont les tokens multiplexés ?

MUX distille la chaîne de raisonnement discrète en tokens latents continus. Chacun de ces tokens est entraîné à représenter une superposition linéaire pondérée (multiplexage) d'une plage entière de sous-mots. Cette superposition est réversible : la plage de sous-mots d'origine peut être entièrement reconstituée (démultiplexage). L'idée centrale est de rendre la compression réversible par construction, et non approximative : le modèle ne « coupe pas les coins » et conserve toute la logique initiale du raisonnement.

• Méthode : MUX, preprint arXiv:2607.18264, type de publication « new » (juillet 2026)
• Mécanisme : un token latent équivaut à une somme pondérée de plusieurs sous-mots discrets du raisonnement
• Réversibilité : superposition sans perte, la plage de sous-mots est entièrement restituée
• Pondération : dépendante de la position, par exemple avec une décroissance géométrique des poids
• Bonus : exploration parallèle de plusieurs branches de solution dans les tâches qui exigent une recherche

Les auteurs démontrent que des poids simples, dépendants de la position — par exemple une décroissance géométrique adaptée — permettent un multiplexage sans perte. Cela empêche à son tour le « collapse latent » : un comportement de contournement dégénéré, dans lequel le modèle écrase la représentation latente et cesse de raisonner réellement.

En quoi MUX fait-il mieux que ses concurrents ?

MUX a surpassé de solides baselines de raisonnement latent dans 32 configurations expérimentales couvrant quatre modèles de langage différents, d'après les auteurs dans le résumé publié sur arXiv. Il ne s'agit pas d'un avantage sur un seul modèle, mais sur toute une classe de méthodes de raisonnement latent, sur l'ensemble d'une grille de 32 configurations. Par ailleurs, des analyses d'ablation et de probing ont montré que les tokens latents appris encodent un raisonnement correct et interprétable, et non du bruit aléatoire.

Autre résultat notable : la capacité de recherche parallèle. Le raisonnement multiplexé peut explorer simultanément plusieurs branches de solution dans les tâches qui demandent d'énumérer des variantes.

«

La superposition sans perte comme objectif d'apprentissage local est une condition suffisante pour un raisonnement continu robuste et efficace dans l'espace latent », indique le résumé de l'étude MUX sur arXiv.

Ce que cela signifie

Le raisonnement latent vise à supprimer la « taxe linguistique » des modèles de raisonnement : calculer dans un espace continu compact plutôt que dans de longues chaînes textuelles. Si les résultats de MUX se reproduisent sur des modèles plus grands, cela ouvre la voie à un raisonnement moins cher et plus rapide, sans perte de précision ni d'interprétabilité — donc à des IA de raisonnement qui dépensent moins de calcul pour la même tâche.

Questions fréquentes

Que sont les tokens multiplexés ?

Ce sont des tokens latents continus, dont chacun encode la somme pondérée de plusieurs sous-mots de la chaîne de raisonnement. Par construction, la superposition est réversible : la plage de sous-mots d'origine peut être entièrement reconstituée, si bien qu'aucune information n'est perdue.

En quoi MUX diffère-t-il d'une chaîne de raisonnement classique ?

La chain-of-thought classique transmet un sous-mot par étape et raisonne en texte. MUX compresse tout un fragment de raisonnement en un seul token latent et calcule dans un espace continu : cela augmente le débit et, selon les auteurs, surpasse les baselines latentes dans 32 configurations de test sur quatre modèles.