NVIDIA compresse Kimi K3.1 Pro en 4 bits : 2,8 billions de paramètres pour environ 1,4 To de poids
NVIDIA a mis en ligne sur Hugging Face Kimi K3.1 Pro de Moonshot AI au format NVFP4, un encodage des poids sur 4 bits au lieu des 16 bits habituels. Le modèle est immense : 2,8 billions de paramètres, dont 104 milliards sont sollicités pour chaque token. C'est un peu comme un emballage sous vide : le contenu reste pratiquement le même, mais les poids pèsent environ 1,4 To au lieu de 5,6 To. Pour l'hébergement autonome, cela abaisse nettement le seuil de mémoire requis, mais la qualité doit être vérifiée sur vos propres cas d'usage.
Traité par IA depuis TG: @cgevent (Метаверсище и ИИще) ; édité par Hamidun News
Les grands modèles ouverts se heurtent souvent à un problème tout simple : il n'est pas facile de les faire tourner. Des poids de plusieurs téraoctets ne tiennent pas dans un serveur ordinaire, et peu d'organisations peuvent se permettre un cluster de GPU pour les accueillir. La publication de NVIDIA sur Hugging Face mérite donc l'attention : l'entreprise a mis en ligne Kimi K3.1 Pro de Moonshot AI au format NVFP4, un encodage des poids sur 4 bits au lieu des 16 bits standard. Selon une estimation approximative, les poids de ce modèle de 2,8 billions de paramètres occupent ainsi environ 1,4 To, contre 5,6 To auparavant.
Ce qui a été publié
Selon la fiche du modèle, Kimi K3.1 Pro est un modèle multimodal à architecture Mixture of Experts (MoE, « mélange d'experts »). Il compte 2,8 billions de paramètres au total, mais seuls 104 milliards sont mobilisés pour traiter chaque token. Imaginez une immense bibliothèque où, pour chaque question, on n'ouvre que quelques rayonnages utiles au lieu de feuilleter tous les livres un à un. Le modèle accepte le texte et les images, et sa fenêtre de contexte annoncée est de 1 048 576 tokens, soit environ un million.
La version a été préparée par NVIDIA elle-même à l'aide de l'outil NVIDIA Model Optimizer. D'après la description, l'objectif du format est de réduire le volume des poids afin de faciliter le déploiement sur du matériel propre.
Ce que apporte NVFP4, concrètement
La quantification consiste à stocker chaque nombre sur un nombre de bits plus faible. Un paramètre occupe généralement 16 bits. NVFP4 est un format à virgule flottante sur 4 bits conçu par NVIDIA : les valeurs sont regroupées en petits blocs, et chaque bloc dispose de son propre facteur d'échelle. Cela permet de conserver davantage de précision malgré une compression aussi forte.
Calcul approximatif :
- 16 bits : 2,8 billions de paramètres, soit environ 5,6 To rien que pour les poids.
- 8 bits : environ 2,8 To.
- 4 bits : de l'ordre de 1,4 To.
Il s'agit d'une estimation qui ne tient pas compte des facteurs d'échelle ni des données annexes ; la taille réelle des fichiers sera un peu plus élevée. Mais l'écart d'environ quatre fois par rapport aux 16 bits répond directement à la question du nombre de GPU à acheter ou à louer. Précision importante : un MoE n'active qu'une partie de ses paramètres, mais tous les experts doivent quand même résider en mémoire, faute de quoi il faudrait les charger depuis le disque à la volée. L'économie provient de la taille de l'ensemble des poids, et non des 104 milliards de paramètres actifs.
Ce qu'il faut vérifier avant de lancer le modèle
La publication initiale ne contient ni mesure de qualité ni mesure de vitesse ; il est donc prématuré de juger la perte de précision liée à la compression. Toute quantification est un compromis, et un passage en 4 bits sur un modèle de cette taille doit être testé sur vos propres usages : code, longs documents, traitement d'images.
D'autres points pratiques restent à examiner :
- Mémoire pour le contexte. Les poids ne représentent qu'une partie de la consommation. Si vous exploitez réellement un contexte d'un million de tokens, le cache de calcul demandera de la mémoire supplémentaire, que la quantification des poids ne réduit pas.
- Matériel. NVFP4 a été conçu pour les GPU NVIDIA de nouvelle génération. Sur des cartes plus anciennes, le gain en mémoire ne se traduira pas forcément par un gain de vitesse ; consultez la documentation.
- Outils d'inférence. Vérifiez dans la fiche quels moteurs d'inférence prennent en charge cette version et quelles versions sont nécessaires.
- Licence. Les conditions d'utilisation figurent dans la fiche du modèle ; pour un usage commercial, il faut les lire avant tout déploiement.
Pourquoi c'est important
Pour les équipes qui développent des agents et souhaitent héberger le modèle chez elles, pour des raisons de données ou de coût d'API, cette publication illustre une tendance : le fabricant de matériel prépare lui-même des versions compressées de grands modèles ouverts. Cela abaisse le seuil d'entrée, sans dispenser pour autant d'un travail d'évaluation. Commencez par faire tourner cette version sur vos propres tests et comparez-la à une alternative plus légère, puis calculez le coût de possession. Si la qualité sur vos tâches est suffisante, la version 4 bits d'un modèle de cette envergure peut revenir nettement moins cher à exploiter que la version pleine taille.
- 21 nov. 2026Le modèle vidéo AURA 2.0 prend la parole de lui-même : la réponse arrive en 344 ms
- 21 nov. 2026Anthropic réalise une introduction en Bourse record de 81,3 milliards de dollars, mais les fondateurs gardent le contrôle
- 21 nov. 2026ONNX Runtime disparu de GitHub : Microsoft a masqué les dépôts après le piratage d'un paquet
- 21 nov. 2026Microsoft permettra aux entreprises d'affiner les modèles MAI sur leurs propres données dans Azure
Questions clés sur cet article
Que sait-on sur Ce qui a été publié ?
Selon la fiche du modèle, Kimi K3.1 Pro est un modèle multimodal à architecture Mixture of Experts (MoE, « mélange d'experts »). Il compte 2,8 billions de paramètres au total, mais seuls 104 milliards sont mobilisés pour traiter chaque token. Imaginez une immense bibliothèque où, pour chaque question, on n'ouvre que quelques rayonnages utiles au lieu de feuilleter tous les livres un à un. Le modèle accepte le texte et les images, et sa fenêtre de contexte annoncée est de 1 048 576 tokens, soit environ un million.
Que sait-on sur Ce que apporte NVFP4, concrètement ?
La quantification consiste à stocker chaque nombre sur un nombre de bits plus faible. Un paramètre occupe généralement 16 bits. NVFP4 est un format à virgule flottante sur 4 bits conçu par NVIDIA : les valeurs sont regroupées en petits blocs, et chaque bloc dispose de son propre facteur d'échelle. Cela permet de conserver davantage de précision malgré une compression aussi forte. Calcul approximatif : 16 bits : 2,8 billions de paramètres, soit environ 5,6 To rien que pour les poids. 8 bits : environ 2,8 To.
Que sait-on sur Ce qu'il faut vérifier avant de lancer le modèle ?
La publication initiale ne contient ni mesure de qualité ni mesure de vitesse ; il est donc prématuré de juger la perte de précision liée à la compression. Toute quantification est un compromis, et un passage en 4 bits sur un modèle de cette taille doit être testé sur vos propres usages : code, longs documents, traitement d'images. D'autres points pratiques restent à examiner : Mémoire pour le contexte. Les poids ne représentent qu'une partie de la consommation.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.