Sber publie en open source GigaChat 3.5 Ultra, un modèle de 432 milliards de paramètres

Sberbank publie en accès libre (open source) son nouveau modèle phare, GigaChat 3.5 Ultra. Il compte 432 milliards de paramètres, soit près de 40% de moins que le précédent fleuron, GigaChat 3.1 Ultra, et ses 700 milliards de paramètres. Les développeurs peuvent récupérer les poids du modèle et le déployer eux-mêmes, sans passer par l'API fermée de l'entreprise.

Le modèle est-il vraiment plus compact ?

GigaChat 3.5 Ultra pèse 432 milliards de paramètres, contre 700 milliards pour GigaChat 3.1 Ultra : une réduction de près de 40%. Les développeurs insistent : il ne s'agit pas d'un compromis du type « plus petit, mais moins cher ». D'après eux, de nouvelles données, une recette d'entraînement mise à jour et des changements d'architecture ont rendu le modèle à la fois plus compact et plus puissant.

• GigaChat 3.5 Ultra : 432 milliards de paramètres, distribué en open source
• GigaChat 3.1 Ultra (précédent modèle phare de la gamme) : 700 milliards de paramètres
• Réduction de la taille du modèle : environ 40%, soit 268 milliards de paramètres
• Pour la première fois dans la gamme GigaChat, l'architecture hybride maison passe à l'échelle de plusieurs centaines de milliards de paramètres

Ce qui change dans l'architecture

Pour la première fois, l'équipe de Sber a porté l'architecture hybride propriétaire de GigaChat à plusieurs centaines de milliards de paramètres au sein d'une même version. Dans ce type de modèle, l'architecture hybride désigne généralement une combinaison de différents types de couches et de mécanismes d'attention, qui permet de monter en taille sans faire croître les coûts de calcul dans les mêmes proportions. Selon les développeurs, cette approche a permis à la fois d'accélérer l'inférence (la génération des réponses) et d'étendre les capacités du modèle, en premier lieu en code, en scénarios agentiques (lorsque le modèle appelle lui-même des outils et enchaîne des actions) et dans les domaines spécialisés complexes.

«

Ce n'est pas un compromis "plus petit, mais moins cher" : grâce à de nouvelles données, à une recette d'entraînement mise à jour et à des changements d'architecture, le modèle est devenu plus puissant, mais aussi plus efficace en mémoire et en vitesse de génération », indique le blog officiel de Sber sur Habr.

Pourquoi l'entreprise a réduit la taille du modèle

Sber ne justifie pas cette réduction par une logique d'économies, mais par un calcul d'ingénierie : un modèle plus petit se montre plus efficace en mémoire et en vitesse de génération, à qualité égale ou supérieure. L'écart de 268 milliards de paramètres entre GigaChat 3.1 Ultra et GigaChat 3.5 Ultra se répercute directement sur l'infrastructure : moins un modèle compte de paramètres, moins il faut de mémoire vidéo pour le charger, et plus la génération de tokens est rapide sur un même matériel.

Ce que cela change pour les développeurs

Pour ceux qui déploient eux-mêmes des modèles open source, le passage du modèle phare de 700 milliards à 432 milliards de paramètres abaisse la barrière matérielle à l'entrée, pour une qualité de réponse comparable, voire supérieure. GigaChat 3.5 Ultra cible notamment le code et les scénarios agentiques, précisément les tâches sur lesquelles les développeurs comparent le plus souvent les modèles open source aux API fermées de la concurrence.

Ce qu'il faut en retenir

Sber continue de publier ses modèles phares GigaChat en accès libre, tout en s'orientant vers des architectures plus compactes et plus rapides. Une tendance qui traverse aujourd'hui toute l'industrie des grands modèles de langage, où les développeurs cherchent le bon équilibre entre taille du modèle, coût de l'infrastructure et utilité concrète en code et en scénarios agentiques.