Baidu lance ERNIE 5.5 Flash Preview : 280 Md de paramètres, 14 Md actifs, 1 M de contexte

Les laboratoires chinois continuent de publier de grands modèles MoE aux poids ouverts, et Baidu ajoute une nouvelle variante à cette série. L'entreprise a annoncé ERNIE 5.5 Flash Preview, le premier modèle ayant subi un post-entraînement à partir de la base ERNIE 5.5 Flash Base publiée précédemment. Pour l'instant, il s'agit d'un aperçu, mais les chiffres de l'annonce méritent l'attention : le modèle est de grande taille tout en étant rapide à l'usage.

Ce que contient l'annonce

Trois paramètres sont pour l'instant publics. Le premier est l'architecture : 280 Md de paramètres au total et 14 Md actifs. C'est un Mixture-of-Experts : le modèle contient de nombreux « experts », et seule une petite partie d'entre eux est activée pour chaque token. Le deuxième est le contexte de 1 million de tokens. Le troisième est la vitesse : plus de 200 tokens par seconde et par utilisateur sur la plateforme Baidu Qianfan. Et une promesse : les poids seront ouverts avant le 25 novembre.

Il est important de bien comprendre la différence entre « au total » et « actifs ». Imaginez une grande bibliothèque où, pour chaque question, vous n'ouvrez pas toutes les armoires, mais seulement les deux ou trois qui sont utiles. Beaucoup de connaissances sont stockées, mais il y a peu à lire. Ainsi, le calcul par token est à peu près celui d'un modèle de 14 Md, tandis que la capacité de connaissances est celle d'un modèle nettement plus grand.

Une réserve importante s'impose : cela n'économise pas la mémoire. Pour exécuter le modèle chez soi, il faudra quand même conserver les 280 Md de paramètres en mémoire, même quantifiés. L'économie porte sur la vitesse et le coût de calcul, pas sur l'espace de stockage.

Ce que signifient « post-entraînement » et « Preview »

Un modèle de base est le résultat du pré-entraînement : il prolonge un texte, mais suit mal les instructions. Le post-entraînement (SFT, apprentissage par renforcement et étapes similaires) le transforme en assistant qui exécute des tâches, respecte le format de réponse et appelle des outils. C'est généralement cette étape qui décide si le modèle sera utile dans un produit. Le mot Preview signifie que la version finale n'existe pas encore et que le comportement peut changer.

Autre détail : le billet ne contient aucun benchmark. Pas de comparaison avec Qwen, DeepSeek ou les modèles de la classe GPT, pas de résultats en codage ni sur les tâches d'agents. Les affirmations sur la qualité ne peuvent donc être ni confirmées ni réfutées. Seuls l'architecture, la longueur de contexte et la vitesse sont connues.

Que faire pour un développeur ou un product manager

Tant que les poids ne sont pas sortis, un plan raisonnable est le suivant :

1. Si vous avez accès à Qianfan, testez le modèle sur vos propres tâches plutôt que sur des benchmarks publics.
2. Vérifiez le contexte long en pratique. Les 1 M de tokens annoncés ne garantissent pas que le modèle retrouve aussi bien les faits au début, au milieu et à la fin d'un document. Faites un test « aiguille dans une botte de foin » sur des données réelles.
3. Attendez la licence. Pour un usage commercial, il importe de savoir si la modification et la revente sont autorisées, et s'il existe des restrictions de région ou de taille d'entreprise. L'annonce n'en dit pas un mot.
4. Calculez le matériel. Même en 4 bits, 280 Md de paramètres représentent environ 140 Go rien que pour les poids, soit plusieurs GPU de serveur, et non une seule station de travail.

Une vitesse de plus de 200 tokens par seconde est importante pour les agents et les interfaces interactives. Les chaînes à plusieurs étapes comportant des dizaines d'appels au modèle se traduisent en secondes d'attente, et une inférence rapide change littéralement la perception du produit. Mais notez la formulation « par utilisateur » : il s'agit de la vitesse sur la pile cloud de Baidu sous une charge donnée ; sur votre matériel, les chiffres seront différents.

Conclusion

ERNIE 5.5 Flash Preview n'est pas encore une percée, faute de mesures indépendantes, mais c'est un signal fort : un autre grand modèle MoE à long contexte avec la promesse de poids ouverts. Pour les équipes qui choisissent un modèle ouvert pour des agents ou le traitement de gros documents, c'est un candidat pour la présélection. Il vaut mieux décider après le 25 novembre, quand les poids, la licence et les premiers tests tiers seront disponibles.