Yuan 3.0 Ultra : mille milliards de paramètres, une efficacité record

La course aux modèles à mille milliards de paramètres entre dans une nouvelle phase, et le critère décisif n'est plus la taille, mais la capacité à l'exploiter. Le laboratoire chinois YuanLab AI a dévoilé Yuan 3.0 Ultra, un modèle multimodal ouvert à architecture Mixture-of-Experts qui manipule mille milliards de paramètres, mais n'en active que 68,8 milliards à chaque instant. Derrière ces chiffres secs se cache un vrai changement de philosophie dans la conception des grands modèles de langage : plutôt que d'augmenter la puissance de calcul de façon brute, les développeurs misent sur une précision chirurgicale dans l'usage des ressources.

Pour mesurer la portée de l'annonce, un peu de contexte s'impose. L'architecture Mixture-of-Experts n'est pas une nouveauté. Google l'utilise dans Gemini, elle est au cœur de Mixtral de Mistral AI et, selon plusieurs fuites, de GPT-4 d'OpenAI. Le principe : le modèle se compose de nombreux sous-réseaux « experts », et seule une petite partie d'entre eux est activée pour traiter chaque requête. Cela donne une immense capacité de connaissance sans devoir faire passer chaque token par tous les paramètres. Yuan 3.0 Ultra pousse cette idée à sa limite logique : sur mille milliards de paramètres, moins de sept pour cent travaillent simultanément. En comparaison, le rapport entre paramètres actifs et totaux de Mixtral 8x7B était nettement moins agressif.

Les chiffres d'efficacité annoncés sont particulièrement remarquables. D'après YuanLab AI, le nombre total de paramètres du modèle a été réduit de 33,3 % par rapport à des architectures de capacités comparables, et l'efficacité du préentraînement a augmenté de 49 %. Cela signifie qu'il faut nettement moins de ressources de calcul et de temps d'entraînement pour obtenir une qualité de réponse comparable. À l'heure où l'entraînement d'un seul modèle phare coûte des dizaines, voire des centaines de millions de dollars, et où l'accès aux clusters de GPU reste un goulot d'étranglement pour la plupart des entreprises, un tel gain n'est pas qu'une prouesse technique : c'est un argument économique.

La multimodalité de Yuan 3.0 Ultra est un autre point important. Le modèle est présenté comme capable de traiter non seulement du texte, mais aussi d'autres types de données, ce qui le rend adapté à un large éventail de tâches en entreprise, de l'analyse de documents contenant des images à des scénarios complexes exigeant de comprendre un contexte issu de plusieurs modalités. Les détails des choix d'architecture qui permettent cette multimodalité n'ont pas encore été entièrement dévoilés, mais le simple fait d'intégrer ces capacités dans un modèle MoE à l'échelle des mille milliards témoigne d'une approche mature.

La décision d'ouvrir le modèle mérite une attention particulière. Depuis un an et demi, les laboratoires chinois d'IA renforcent régulièrement leur présence dans la communauté open source : DeepSeek, Qwen d'Alibaba, Yi de 01.AI.

Tous publient des modèles à poids ouverts et constituent une alternative solide aux systèmes fermés occidentaux. Yuan 3.0 Ultra s'inscrit dans cette tendance, mais relève la barre : un modèle MoE de mille milliards de paramètres en accès ouvert est un défi non seulement pour les concurrents commerciaux, mais pour tout l'écosystème de l'IA ouverte.

Reste à savoir si les chercheurs et les entreprises extérieurs aux plus grands fournisseurs cloud pourront réellement déployer et utiliser un modèle de cette taille. Même avec « seulement » 68,8 milliards de paramètres actifs, l'inférence d'un MoE de mille milliards de paramètres exige une infrastructure sérieuse pour le stockage et le routage entre experts.

Pour l'industrie, Yuan 3.0 Ultra confirme une fois de plus que le MoE devient l'architecture dominante des modèles de prochaine génération. Les transformers denses, où chaque paramètre est actif à chaque appel, ressemblent de plus en plus à une approche gaspilleuse d'une époque révolue. Le modèle aiguise aussi la concurrence entre laboratoires chinois et américains : si les chiffres d'efficacité annoncés sont confirmés par des benchmarks indépendants, ce sera un argument de poids pour dire que le leadership technologique en IA n'est plus le monopole de la Silicon Valley.

Cela dit, les déclarations fracassantes appellent un scepticisme professionnel. Tant que les résultats sur les benchmarks standards face à GPT-4o, Claude 3.5, Gemini Ultra et d'autres modèles phares ne sont pas publiés, parler d'« efficacité inégalée » est prématuré. Le véritable test de Yuan 3.0 Ultra commencera quand la communauté aura accès aux poids et pourra mener une évaluation indépendante. C'est alors seulement qu'on saura si ce modèle est une percée réelle ou une sortie de plus, ambitieuse mais surestimée, dans une course à l'échelle en surchauffe.