Xiaomi MiMo passe à l'encodeur-décodeur : un prefill 5 fois moins coûteux sur 1M de tokens de contexte

Le contexte long dans les LLM n'est plus depuis longtemps une simple fonctionnalité : c'est une facture de matériel. On charge un million de tokens dans le modèle et on paie deux fois : d'abord en temps et en calculs pour le prefill, puis en mémoire pour le cache KV, qui gonfle avec le contexte. Selon SemiAnalysis, Xiaomi tente désormais de résoudre ce problème au niveau de l'architecture.

Ce qui change concrètement

Les analystes de SemiAnalysis écrivent que la prochaine génération de modèles Xiaomi MiMo passe à un encodeur-décodeur causal. Ce choix intervient après qu'une voie similaire a été empruntée par DeepSeek V4.1 Flash. L'architecture s'appelle HySparse2, et les détails clés du post sont les suivants : le prompt ne traverse que 25 des 49 couches, et le cache KV du décodeur n'est pas calculé à partir de zéro, mais projeté depuis les états de l'encodeur.

Dans un modèle à décodeur classique, chaque couche traite chaque token du prompt et conserve ses propres clés et valeurs. Ici, le schéma est différent : l'encodeur prend en charge la partie lourde de la lecture de l'entrée longue, tandis que le décodeur reçoit de lui des états prêts à l'emploi et en construit son propre KV.

Imaginez un avocat à qui l'on remet un contrat de 500 pages. On peut lui demander de tout relire à chaque fois qu'il répond à une question. Ou bien il peut rédiger une fois une synthèse et travailler ensuite avec elle. L'analogie est grossière, mais elle rend l'idée : la lecture coûteuse de l'entrée est reportée dans une étape distincte, dont ne s'occupe qu'une partie des couches.

Les chiffres

Sur un contexte de 1M de tokens, par rapport à MiMo-V2, SemiAnalysis avance deux résultats :

• 5 fois moins de calculs pour le prefill ;
• un cache KV 4,5 fois plus petit.

Le premier chiffre signifie que le temps jusqu'au premier token sur de très gros prompts pourrait nettement diminuer, et que le coût de traitement de l'entrée baisserait. Le second touche la mémoire : un cache plus petit permet davantage de requêtes simultanées sur le même GPU, ou un contexte long sur une configuration plus modeste.

Il faut toutefois bien comprendre l'origine de la comparaison. Il s'agit d'une comparaison avec le modèle précédent de Xiaomi lui-même, et non d'un benchmark indépendant face à la concurrence. Et le post ne contient aucune donnée sur la qualité : on ignore pour l'instant comment la nouvelle architecture préserve la précision sur un contexte long.

Pourquoi c'est important

Le signal principal ici, c'est la tendance. Deux laboratoires chinois de premier plan, l'un après l'autre, évoluent vers un schéma où l'entrée et la génération sont traitées différemment. Pour une industrie qui a vécu des années dans le paradigme du « décodeur seul », c'est un changement notable. L'efficacité de l'inférence sur contexte long devient un avantage concurrentiel au même titre que la qualité.

Pour ceux qui construisent des produits sur le contexte long — RAG sans découpage agressif, analyse de bases de code, agents à mémoire longue — c'est une baisse de coût potentielle pour des scénarios qui butent aujourd'hui sur la mémoire et la latence.

Limites et que faire

Commençons par ce que nous ignorons. Le post ne donne aucune donnée sur la qualité, sur le comportement du modèle face à des tâches à contexte long, ni sur la date de sortie des modèles ou l'ouverture éventuelle des poids. Les chiffres sont donnés pour 1M de tokens ; sur des prompts courts, le gain peut être bien plus modeste. La source est un post d'analystes, et non un rapport technique de Xiaomi.

Conclusion pratique pour les développeurs et les product managers :

• ne réécrivez pas votre stack pour la nouvelle architecture tant qu'il n'y a ni poids ouverts ni mesures indépendantes ;
• si vous calculez l'économie du contexte long, prévoyez un scénario où le coût du prefill et de la mémoire est divisé plusieurs fois ;
• surveillez la prise en charge de l'encodeur-décodeur dans les moteurs d'inférence : c'est d'elle que dépend la rapidité avec laquelle le gain atteindra les produits réels.

Si les 5x et 4,5x annoncés se confirment en pratique sans perte de qualité, ce sera l'un des pas les plus tangibles vers un million de tokens à bas prix.