Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieArticle R&D · Pour R&DX: @EthanLinAI→ original

Un modèle géant compressé à 144 Go : 91,5 % des tokens identiques à l'original

Un modèle de 428 milliards de paramètres demande d'ordinaire un cluster de cartes graphiques. Unsloth a toutefois réduit MiniMax M3.1 Flash à 2 bits par poids, et le fichier au format GGUF pèse environ 144 Go. Le modèle tient dans environ 150 Go de RAM classique, celle d'une seule station de travail. Sur un même texte, la version compressée choisit le même token suivant (un fragment de mot) que la version complète dans 91,5 % des cas. Conclusion : un gros agent peut désormais tourner en local, mais il faut vérifier la qualité sur vos propres tâches.

Traité par IA depuis X: @EthanLinAI ; édité par Hamidun News
Un modèle géant compressé à 144 Go : 91,5 % des tokens identiques à l'original
Source : X: @EthanLinAI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireX: @EthanLinAI ↗
Rédacteur en chef
Chiffre clé #1Dans ce modèle MoE, seuls 23 milliards des 428 milliards de paramètres sont actifs par token
La marge est faiblefichier de 144 Go pour environ 150 Go de RAM recommandés
Chiffre clé #391,5 % correspond à un taux de concordance des tokens, et non à un résultat sur des benchmarks

Il y a peu, faire tourner un modèle de plusieurs centaines de milliards de paramètres exigeait de louer un serveur équipé de plusieurs cartes graphiques. Désormais, MiniMax M3.1 Flash, un modèle ouvert de 428 milliards de paramètres, dispose de versions 2 bits signées Unsloth : le fichier au format GGUF pèse environ 144 Go et fonctionne avec environ 150 Go de mémoire vive.

C'est la capacité d'une station de travail très puissante, et non celle d'un centre de données. Ethan Lin l'a annoncé sur X. Il a également donné le chiffre de 91,5 % : c'est la proportion de fois où le modèle compressé choisit le même token suivant (un fragment de mot) que la version complète, à partir d'un même texte.

Le plus simple est de comparer cela à une archive. Le modèle d'origine occupe plusieurs centaines de gigaoctets, et Unsloth l'a empaqueté pour qu'il tienne dans la mémoire d'un matériel ordinaire. Le prix de cette compression est de légers écarts dans les réponses. Voici ce que recouvre chaque chiffre.

Ce qui a été compressé et pourquoi 150 Go suffisent

MiniMax M3.1 Flash repose sur une architecture Mixture of Experts, c'est-à-dire un « mélange d'experts ». Elle compte 428 milliards de paramètres au total, mais chaque token n'en active qu'environ 23 milliards. C'est comparable à une immense bibliothèque : il faut stocker tous les rayonnages, mais pour une question donnée, on n'ouvre que quelques étagères. Le calcul par token est donc bien moindre que pour un modèle « dense » de même taille. Le goulot d'étranglement se situe ici dans la mémoire, et non dans le calcul.

C'est la quantification qui réduit la mémoire. Les poids sont généralement stockés sur 16 bits par nombre. Si on les ramène à 2 bits en moyenne, le fichier rétrécit de plusieurs fois, mais les nombres deviennent moins précis. Unsloth est connu pour choisir quelles couches compresser davantage et lesquelles garder plus fines. Le résultat est empaqueté au format GGUF, que comprennent les environnements d'exécution locaux populaires comme llama.cpp.

Comment lire le chiffre de 91,5 %

Dans le message, cette mesure est appelée top-1 token agreement. Sur un même texte, les deux modèles prédisent le token suivant, et dans 91,5 % des cas, leur option la plus probable est identique. Pour une compression en 2 bits, le résultat est honorable, mais la métrique a ses limites.

D'abord, il ne s'agit pas d'une évaluation sur des tâches réelles comme la programmation ou l'appel d'outils. Un écart de 8,5 % des tokens dans un texte courant peut ne rien changer. Dans une longue chaîne d'actions d'un agent, cet écart peut en revanche s'accumuler et conduire à une autre décision.

Ensuite, le chiffre provient d'un tweet et non d'un rapport détaillé. La méthodologie n'est pas publiée : on ignore sur quels textes les modèles ont été comparés et quelle était la longueur du contexte. Le message ne donne pas non plus la vitesse de génération en tokens par seconde, pourtant aussi importante que la taille du fichier pour un agent interactif.

Ce que cela change pour les développeurs et les équipes

Le seuil d'entrée pour les grands modèles ouverts s'abaisse. Avec une machine dotée de 192 Go de mémoire ou plus, un modèle de 428 milliards de paramètres cesse d'être théorique. Concrètement :

  • Confidentialité : le code, les documents et les données internes restent sur votre machine et ne transitent pas par une API cloud.
  • Coûts prévisibles : au lieu de payer chaque token, vous investissez une fois dans le matériel, ce qui est avantageux pour une charge constante.
  • Expérimentation : vous pouvez comparer la version locale compressée à la version cloud et voir précisément où la qualité baisse.

Les contraintes existent aussi. Un fichier de 144 Go et environ 150 Go de RAM recommandés ne laissent que peu de marge pour le système d'exploitation et un long contexte : pour de grands contextes, il faudra davantage de mémoire. Par ailleurs, avec un MoE en RAM, la vitesse dépend fortement de la bande passante mémoire. Sur une station de travail classique, la génération sera plus lente qu'avec un ensemble de GPU.

Le conseil est simple : ne migrez pas un agent en production sur la foi d'un seul chiffre tiré d'un tweet. Prenez 20 à 50 tâches réelles de votre équipe, exécutez-les sur la version locale 2 bits et sur le modèle cloud, puis comparez la part de résultats réussis. Si l'écart est acceptable, l'exécution locale se justifie par la confidentialité et les économies. Sinon, essayez les versions 3 ou 4 bits lorsqu'elles seront disponibles : elles sont généralement plus proches de l'original.

L'auteur du message demande par quoi commencer. La réponse raisonnable : par ce qui exige confidentialité et un grand nombre de requêtes, comme un assistant interne pour le code ou l'analyse de documents confidentiels.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été compressé et pourquoi 150 Go suffisent ?

MiniMax M3.1 Flash repose sur une architecture Mixture of Experts, c'est-à-dire un « mélange d'experts ». Elle compte 428 milliards de paramètres au total, mais chaque token n'en active qu'environ 23 milliards. C'est comparable à une immense bibliothèque : il faut stocker tous les rayonnages, mais pour une question donnée, on n'ouvre que quelques étagères. Le calcul par token est donc bien moindre que pour un modèle « dense » de même taille.

Comment lire le chiffre de 91,5 %?

Dans le message, cette mesure est appelée top-1 token agreement. Sur un même texte, les deux modèles prédisent le token suivant, et dans 91,5 % des cas, leur option la plus probable est identique. Pour une compression en 2 bits, le résultat est honorable, mais la métrique a ses limites. D'abord, il ne s'agit pas d'une évaluation sur des tâches réelles comme la programmation ou l'appel d'outils. Un écart de 8,5 % des tokens dans un texte courant peut ne rien changer.

Que sait-on sur Ce que cela change pour les développeurs et les équipes ?

Le seuil d'entrée pour les grands modèles ouverts s'abaisse. Avec une machine dotée de 192 Go de mémoire ou plus, un modèle de 428 milliards de paramètres cesse d'être théorique. Concrètement : Confidentialité : le code, les documents et les données internes restent sur votre machine et ne transitent pas par une API cloud. Coûts prévisibles : au lieu de payer chaque token, vous investissez une fois dans le matériel, ce qui est avantageux pour une charge constante.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…