DeepSeek-V4.1-Flash ramène le cache KV en HBM à 890 octets par token, contre 3514

DeepSeek a présenté V4.1-Flash, un modèle MoE multimodal avec un contexte de 1M de tokens. Son tronc principal compte 552B paramètres, et 196B de plus résident dans les tables de mémoire Engram. Le résultat principal concerne le service : le cache KV global en HBM est comprimé à 890 octets par token, alors que le DeepSeek-V4-Flash précédent en occupait 3514. Le cache longue durée sur SSD a été réduit à environ un huitième de son volume antérieur. Pour des sessions d'agents d'un million de tokens, cela lève le principal goulot d'étranglement : la mémoire du cache ne détermine plus le nombre de sessions qu'un serveur peut absorber.

Un message sur la chaîne Telegram gonzo_ML renvoie à un article d'environ 500 auteurs (arXiv 2609.19969), à une analyse sur Substack et aux poids sur Hugging Face. Le code n'est pas en accès libre ; la fiche indique N/A.

Trois mécanismes d'économie de mémoire

Le premier mécanisme est un schéma causal encodeur-décodeur, CED. Le modèle s'écarte du decoder-only habituel : au prefill, quand il lit un long prompt, 8B paramètres sont actifs, et 16B lors de la génération de la réponse. L'auteur de l'analyse note que c'est apparemment le seul des grands modèles ouverts à adopter une telle architecture. Les équivalents les plus proches sont l'encoder-decoder T5Gemma et le schéma décodeur-décodeur YOCO.

Le deuxième mécanisme est l'attention CSA2. Elle réutilise le cache au format FP4 entre les couches, si bien que chaque couche n'a pas besoin de stocker sa propre copie. C'est là que se joue l'essentiel de la compression jusqu'à 890 octets par token.

Le troisième mécanisme est le recalcul borné de la fenêtre glissante, SWA Bounded Replay. Le cache local de la fenêtre glissante n'est plus écrit sur disque ; au besoin, il est restauré par recalcul sur un segment borné. Cela retire une partie de la charge du SSD et explique pourquoi le volume du cache disque a été divisé par environ huit.

Benchmarks : parité avec Opus-5 sur les tâches agentiques

Sur DeepSWE v1.1 (un ensemble de tâches de correction de bogues dans de vrais dépôts), V4.1-Flash résout 74,2 % des tâches. V4-Flash en résout 54,4 % et Opus-5 74,0 %. Sur Terminal-Bench 2.1 (tâches d'agent en ligne de commande), le modèle atteint 90,6 % de Pass@1, c'est-à-dire qu'il résout la tâche du premier coup. V4-Flash obtient ici 82,7 % et Opus-5 89,1 %.

La mise à jour n'a donc pas seulement rendu l'inférence moins chère : elle a aussi amélioré la qualité en programmation et en scénarios de terminal. Le gain sur DeepSWE est d'environ 20 points de pourcentage par rapport à la version précédente. Pour les développeurs qui construisent de longues boucles agentiques, c'est un argument notable en faveur d'un modèle ouvert.

Ce que l'article ne contient pas

Il y a aussi des limites. Le travail ne comporte pas d'ablations par composant : on ne sait donc pas quelle part de l'économie de mémoire et de la qualité revient à CED, CSA2 et au recalcul de la fenêtre, pris séparément. Il n'y a pas non plus de courbes de qualité de récupération sur le contexte de 1M de tokens. Les 890 octets par token annoncés montrent le coût de stockage, mais ne prouvent pas que le modèle retrouve de façon fiable le bon passage sur toute la longueur.

Sur les tâches scientifiques complexes, le résultat est nettement plus modeste. Sur Terminal-Bench 4.0, V4.1-Flash obtient 31,2 %, et Opus-5 51,8 %. La parité avec le système fermé se confirme sur Terminal-Bench 2.1 et DeepSWE v1.1, mais pas sur le plus difficile des benchmarks cités.

La conclusion pratique pour ceux qui déploient eux-mêmes des modèles : d'après l'article, avec un contexte d'un million de tokens, la contrainte devient le calcul, et non la HBM ou le SSD dédiés au cache. Cela modifie le calcul du coût des longues sessions agentiques. Mais tant que le code, les ablations et des mesures indépendantes en contexte long ne sont pas publiés, les chiffres restent des déclarations des auteurs. Les poids peuvent être téléchargés et testés sur vos propres tâches.