Baidu ouvre ERNIE 5.5 Flash Base : un MoE de 280 milliards de paramètres dont 14 milliards actifs

Les laboratoires chinois continuent de publier de grands modèles ouverts, et voici une nouvelle sortie notable. Le 5 novembre, Baidu a ouvert ERNIE 5.5 Flash Base, un modèle de base à architecture Mixture-of-Experts. Pour ceux qui choisissent sur quoi bâtir leur propre stack, c'est une raison d'examiner les chiffres de plus près.

Ce qu'il y a sous le capot, et pourquoi le MoE compte

Les principaux paramètres sont les suivants : 280 milliards de paramètres au total, 14 milliards actifs par token, 33,5 billions de tokens de pré-entraînement et un contexte allant jusqu'à 128K lors du pré-entraînement. D'après Baidu, un contexte encore plus long est pris en charge pour l'affinage et l'inférence, mais dans le texte dont nous disposons, le chiffre est tronqué ; la valeur exacte est donc à vérifier dans la fiche du modèle.

Le fonctionnement d'un MoE s'explique le plus simplement par une analogie. Imaginez un grand cabinet de conseil comptant des centaines de spécialistes. Pour chaque question, on ne mobilise pas tout le monde : un dispatcheur, autrement dit le routeur, choisit quelques experts adaptés. Le savoir est détenu par l'ensemble du cabinet, mais seuls les élus travaillent sur un token donné. Ici, ce sont 14 milliards sur 280 milliards.

La conséquence pratique est double. La vitesse et le coût de génération se rapprochent de ceux d'un modèle dense de classe 14B, tandis que la capacité de connaissances est potentiellement supérieure. Mais il y a une réserve que l'on oublie souvent : il faut quand même charger tous les poids en mémoire. D'après mon calcul approximatif, cela représente environ 560 Go en précision 16 bits et environ 280 Go en 8 bits. Ce ne sont pas des données de Baidu, mais une estimation fondée sur le nombre de paramètres, sans tenir compte du cache ni des surcoûts.

Pourquoi le mot Base est important

Un modèle Base n'est pas un assistant conversationnel. Il est entraîné à poursuivre un texte, et non à suivre des instructions. Si on lui écrit « Rédige une requête SQL pour sélectionner les commandes de la semaine », il peut, au lieu de produire la requête, prolonger la phrase comme s'il s'agissait du début d'un document. Pour obtenir un comportement exploitable en produit, il faut du SFT, un apprentissage sur préférences et, éventuellement, du RL.

En revanche, pour les équipes qui disposent de leur propre post-entraînement, c'est une bonne nouvelle. Un modèle de base ne porte pas l'alignement ni le style de réponse d'autrui, et peut être adapté à son propre domaine : textes juridiques, documentation interne, code dans un langage de niche.

Concernant les benchmarks : Baidu affirme que le modèle a établi un nouveau SOTA parmi les modèles de taille similaire sur plusieurs tests. C'est une déclaration du fournisseur, et nous n'avons pas encore vu de mesures indépendantes. De plus, les modèles de base sont généralement comparés sur des tests de connaissances, de mathématiques et de code en mode few-shot. Ces tests ne disent presque rien du comportement du modèle dans des scénarios agentiques impliquant des appels d'outils.

Que faire de tout cela

• Si vous disposez d'un cluster de GPU et de votre propre jeu de données, en particulier avec du chinois ou un domaine spécialisé, le modèle mérite un pilote.

• Si vous avez besoin d'un chat prêt à l'emploi ou d'une API pour un produit, Base ne conviendra pas. Cherchez une version instruct ou préparez votre propre post-entraînement.

• Avant de vous lancer, vérifiez la licence et la prise en charge du modèle dans votre stack d'inférence. Pour un MoE, c'est crucial : le routage des experts n'est pas partout implémenté avec la même qualité.

• Rassemblez 30 à 50 exemples tirés de vos tâches réelles et exécutez-les avant tout investissement dans l'affinage. Les benchmarks publics n'y suppléeront pas.

Les limites sont évidentes. Les besoins en mémoire sont élevés, les comparaisons indépendantes sont rares, et la qualité en russe devra être vérifiée par vos soins : les données disponibles n'en disent rien.

En résumé : ERNIE 5.5 Flash Base est intéressant comme une base MoE ouverte de plus, avec un grand volume de pré-entraînement et un coût de calcul raisonnable par token. Mais c'est une matière première pour ingénieurs, pas un produit fini. La décision de l'adopter doit se prendre après vos propres mesures, et non sur la foi d'un titre annonçant un SOTA.