Baidu ouvre les poids d'ERNIE 5.5 Flash : sur 280 milliards de paramètres, 14 milliards travaillent à chaque token (5%)

Baidu a publié les poids d'ERNIE 5.5 Flash Base, un modèle de langage ouvert à architecture MoE (mixture of experts, « mélange d'experts »). Le titre contient deux chiffres, et il faut bien comprendre ce qu'ils signifient.

280 milliards, c'est le nombre total de paramètres, c'est-à-dire les « connaissances » que le modèle stocke. 14 milliards, c'est la part qui participe réellement au traitement de chaque token (un token est un fragment de mot, à partir duquel le modèle assemble son texte). 14 sur 280, cela fait exactement 5%.

Imaginez un bureau de 20 spécialistes où l'on appelle sur chaque tâche celui qui convient, et non tous à la fois : l'effectif est important, mais le travail se paie comme pour une petite équipe. Pour un développeur, la conclusion est simple : si vous comptez le coût de l'inférence, un tel modèle peut revenir moins cher qu'un modèle dense de même taille, mais il faut d'abord le tester sur vos propres données.

Ce qui a été publié

Baidu Research a ouvert la version de base, ERNIE 5.5 Flash Base. « De base » signifie une ébauche sans réglage final pour le dialogue : ce n'est pas un assistant conversationnel prêt à l'emploi, mais un point de départ, par exemple pour un fine-tuning sur des données sectorielles. L'entreprise promet de sortir plus tard l'ERNIE 5.5 Flash complète.

Le modèle contient des blocs spécialisés, les « experts ». Pour chaque token, un routeur dédié choisit lesquels activer. Au final, le calcul nécessaire équivaut à peu près à celui d'un modèle de 14 milliards de paramètres, tandis que les connaissances stockées sont celles d'un modèle de 280 milliards. Les développeurs affirment que le modèle atteint les résultats des modèles de pointe de taille comparable. L'annonce ne donne aucun chiffre précis et, à la date de publication, il n'existe pas non plus de mesures indépendantes : il s'agit donc pour l'instant d'une hypothèse.

Trois choix d'ingénierie

Baidu met en avant plusieurs nouveautés techniques.

Latent-Gated Sparse Attention gère la mémoire lors du traitement de textes longs. Pendant qu'il génère une réponse, le modèle conserve un KV-cache, le cache des tokens déjà traités, qui gonfle fortement sur les longs documents. Le nouveau mécanisme répartit cette mémoire de sorte que le modèle retrouve toujours l'information utile dans un contexte long, sans gaspiller de ressources. Concrètement, cela concerne les longs contrats, les logs ou une grande base de code soumis en une seule requête.

Multi-Router Latent MoE utilise non pas un, mais plusieurs routeurs pour choisir les experts. Selon Baidu, cela permet de déterminer plus précisément quelles parties du modèle sont nécessaires à un token donné, sans augmenter le coût de calcul.

ECHO fusionne la prédiction de plusieurs tokens à la fois avec la couche principale du modèle. Le même mécanisme peut servir au speculative decoding. L'idée : le modèle propose d'avance un brouillon de plusieurs tokens suivants, puis le vérifie. Si les prédictions sont justes, la réponse est générée plus vite. Pour les services où le temps de réponse compte, cela peut être plus utile qu'un énième gain sur les benchmarks.

Pour l'entraînement, l'équipe a développé un optimiseur Muon distribué et un noyau d'attention optimisé, FlashMask-4.

Ce que cela change en pratique

Premièrement, l'économie du MoE porte sur le calcul, pas sur la mémoire. Il faut quand même stocker quelque part les 280 milliards de paramètres : en précision 16 bits, cela représente de l'ordre de 560 Go rien que pour les poids. Impossible de faire tourner un tel modèle sur une seule carte graphique : il faudra un serveur avec plusieurs accélérateurs ou de la quantification (compression des poids). Le gain est plus net quand les requêtes sont nombreuses : chaque token consomme moins de calcul qu'avec un modèle dense de même taille.

Deuxièmement, comme il s'agit d'un modèle de base, inutile d'attendre un agent ou un assistant prêt à l'emploi. Si vous avez besoin précisément de dialogue ou de scénarios agentiques, mieux vaut attendre l'ERNIE 5.5 Flash complète.

Troisièmement, pour le marché des modèles ouverts, c'est un nouveau gros candidat au rôle de socle pour des stacks maison. Les poids sont disponibles sur Hugging Face, et l'analyse technique est publiée sur le site d'ERNIE.

Il vaut mieux commencer petit. Prenez votre jeu de tâches de test, faites-y tourner ERNIE 5.5 Flash Base et comparez avec ce que vous utilisez aujourd'hui. Regardez à la fois la qualité et le coût d'exécution, car c'est précisément pour ce second point que l'on conçoit ces modèles.