Mistral publie les poids ouverts de Large 4 : 1 000 milliards de paramètres, 52 milliards actifs

Selon un post sur X, la française Mistral a publié sur Hugging Face les poids ouverts de Large 4. Ce modèle compte 1 000 milliards de paramètres, dans une architecture où 52 milliards sont mobilisés pour chaque token. Sa fenêtre de contexte atteint 1 million de tokens.

Sa licence est une MIT modifiée, assortie d'une exclusion distincte pour le model-as-a-service. L'auteur du post cite aussi le prix de l'API et une baisse de 63% du coût de résolution des tâches de l'indice d'intelligence. Une réserve importante s'impose : la source est un post isolé, à la portée infime, et le texte ne renvoie ni à une annonce officielle ni à une fiche de modèle.

Tous les chiffres ci-dessous sont donc des déclarations de l'auteur, et non des données vérifiées.

Ce qui est annoncé côté architecture et contexte

Le rapport de 52 milliards de paramètres actifs sur 1 000 milliards au total signifie qu'environ 5% des poids travaillent pour chaque token. Cette approche parcimonieuse (mixture-of-experts) permet de conserver une énorme capacité tout en payant l'inférence au prix d'un réseau dense nettement plus petit. Pour qui héberge le modèle lui-même, la contrainte principale reste entière : il faut garder tous les poids en mémoire, soit 1 000 milliards de paramètres. Même en basse précision, cela exige un cluster de taille sérieuse, pas une simple station de travail.

Un contexte de 1 million de tokens vise le travail sur de grandes bases de code, de longs documents et des scénarios agentiques en plusieurs étapes. Le post ne dit rien de la tenue de la qualité sur de longues distances. La taille annoncée de la fenêtre et la capacité réelle à retrouver et à exploiter l'information à ses extrémités sont deux choses différentes, qu'il faut vérifier par des tests indépendants.

Licence : une MIT avec réserve

L'auteur décrit la licence comme une MIT modifiée, avec une exclusion pour le model-as-a-service. Le post ne donne pas la formulation exacte. Le nom laisse supposer que l'exclusion limite l'hébergement commercial du modèle en tant que service par des tiers, mais il s'agit d'une conjecture, pas d'un fait. Les entreprises qui comptent utiliser Large 4 au sein de leurs produits auront probablement peu de restrictions. Les fournisseurs d'inférence et les revendeurs d'accès à l'API devront d'abord lire le texte original de la licence. Tant qu'il n'a pas été examiné, il est trop tôt pour qualifier Large 4 de modèle entièrement libre, dans l'esprit d'une MIT pure.

Tarifs et économie des tâches

L'auteur indique que le coût de résolution d'une tâche de l'indice d'intelligence a baissé de 63% et s'établit désormais à $2,06. Le post ne précise ni le nom de l'indice ni le modèle de comparaison. En prenant ces chiffres au pied de la lettre, le coût précédent était d'environ $5,57 par tâche : il s'agit de notre calcul à partir du pourcentage annoncé, et non d'une donnée de l'auteur. La baisse du coût d'une tâche dépend à la fois du prix des tokens et du nombre de tokens que le modèle consacre au raisonnement : un tarif bas n'aide pas si les réponses sont verbeuses.

Les tarifs de l'API sont de $0,70 par million de tokens d'entrée et de $2,10 par million de tokens de sortie. Les tokens de sortie coûtent exactement trois fois plus cher que ceux d'entrée. Cette structure est avantageuse pour les scénarios à long contexte et à réponses courtes, comme la recherche dans des documents ou la revue de code. Pour la génération de gros volumes de texte ou de longues chaînes de raisonnement, l'essentiel de la facture viendra des tokens de sortie.

Que vérifier avant de déployer

Voici l'ensemble minimal d'étapes pour une équipe qui envisage Large 4 :

• confronter le post à l'annonce officielle de Mistral et à la fiche du modèle sur Hugging Face ;
• lire le texte complet de la licence et les conditions de l'exclusion pour le model-as-a-service ;
• déterminer quel indice et quel modèle de référence se cachent derrière la baisse de coût de 63% ;
• lancer ses propres tâches à long contexte, sans se fier au 1 million annoncé ;
• évaluer les besoins en mémoire pour héberger soi-même un modèle de 1 000 milliards de paramètres.

Si ces déclarations se confirment, Large 4 deviendra l'un des plus gros modèles à poids ouverts, doté à la fois de poids publics et d'une API peu coûteuse. Pour l'instant, il s'agit d'un message dont la source n'est pas une documentation. Il est raisonnable d'y voir une raison de vérifier l'information, et non un motif pour changer l'architecture d'un produit.