Baidu publie ERNIE 5.5 Flash Base : 280 milliards de paramètres et des poids ouverts

Les laboratoires chinois continuent de publier de grands modèles ouverts, et Baidu rejoint à nouveau le mouvement avec une approche inhabituelle. ERNIE-5.5-Flash-Base est sorti sans adaptation au suivi d’instructions : il s’agit d’une base brute que les développeurs doivent eux-mêmes transformer en produit opérationnel. L’entreprise promet de publier plus tard une version post-entraînée.

Ce qu’il contient

Le modèle repose sur une architecture mixture-of-experts : il compte 280 milliards de paramètres au total, mais seulement 14 milliards sont activés à chaque requête. En pratique, c’est important : la qualité dépend de la taille totale, tandis que le coût de calcul par token se rapproche de celui d’un modèle de 14 milliards de paramètres. En revanche, il faut toujours disposer d’assez de mémoire pour stocker les poids correspondant aux 280 milliards de paramètres.

Le pré-entraînement a porté sur 33,5 billions de tokens, avec une fenêtre de contexte allant jusqu’à 128 000 tokens. L’architecture est toutefois conçue pour prendre en charge jusqu’à un million de tokens de contexte lors du post-entraînement et de l’inférence. Il s’agit d’une affirmation de Baidu : vous devrez étendre vous-même la fenêtre et vérifier la qualité sur de longs contextes avec vos propres données.

Les poids sont disponibles sur Hugging Face dans deux formats : FP8 et BF16. Le FP8 est nettement moins gourmand en mémoire et convient aux expérimentations sur un cluster plus modeste, tandis que le BF16 est plus pratique pour le post-entraînement.

Ce qu’est un modèle « de base » et ce qui le distingue d’un modèle conversationnel

Un modèle de base sait poursuivre un texte, mais il n’est pas entraîné à suivre des instructions, à refuser les requêtes dangereuses ni à respecter le format d’un dialogue. Imaginez un stagiaire doté d’une immense érudition, mais à qui personne n’a expliqué comment répondre aux clients. Pour obtenir un assistant, il faut procéder à un supervised fine-tuning, puis généralement à une phase d’optimisation des préférences ou de RL.

Cette base présente toutefois un avantage : elle n’intègre pas les choix d’un tiers en matière de style, de filtres ou de comportement. Une équipe qui souhaite créer son propre modèle spécialisé dans les documents juridiques, le code écrit dans un langage rare ou le support interne dispose ainsi d’un point de départ vierge.

Baidu compare le modèle à DeepSeek-V4-Flash-Base, Hy3-preview-Base et MiMo-V2.5-Base au moyen d’une même chaîne d’évaluation. Les catégories couvrent les examens, les STEM, le raisonnement, les connaissances, le code, le multilinguisme et les longs contextes. Selon l’entreprise, ERNIE se situe au niveau de modèles de base ouverts comparables pour le raisonnement, le code et les longs contextes. Ces résultats proviennent toutefois de Baidu elle-même et aucune mesure indépendante n’est encore disponible.

Limites et marche à suivre

Premièrement, sans post-entraînement, le modèle ne peut pas être simplement raccordé à une interface de chat ou à un agent. Il faut des données, un budget de calcul et une expérience du post-entraînement des modèles MoE, une tâche plus complexe que l’adaptation d’un modèle dense.

Deuxièmement, la licence. Avant toute utilisation commerciale, consultez les conditions figurant sur la page du modèle, car elles ne sont pas précisées dans l’annonce.

Troisièmement, l’infrastructure. Même au format FP8, 280 milliards de paramètres nécessitent plusieurs GPU puissants : pour une petite équipe, il ne s’agit donc pas d’une expérimentation locale.

Conclusion pratique : si vous disposez des ressources et d’un cas d’usage précis, il vaut la peine de tester ERNIE-5.5-Flash-Base sur votre propre benchmark, aux côtés de DeepSeek V4 Flash Base et MiMo V2.5 Base, puis de choisir la meilleure base pour le post-entraînement. Si vous avez besoin d’un modèle prêt à intégrer dans un produit, attendez la version post-entraînée de Baidu : elle n’est pas encore disponible et aucune date de sortie n’a été annoncée.

Dans l’ensemble, c’est un signal supplémentaire : les modèles de base ouverts comptant plusieurs centaines de milliards de paramètres sont devenus courants, et l’avantage concurrentiel se déplace des poids eux-mêmes vers les données et la qualité du post-entraînement.