Sber a publié GigaChat 3.5 Ultra en open source avec 432 milliards de paramètres

Sberbank a publié GigaChat 3.5 Ultra avec 432 milliards de paramètres en tant que code ouvert

Sberbank a publié un nouveau modèle phare, GigaChat 3.5 Ultra, dans le domaine public (code ouvert) — il contient 432 milliards de paramètres, presque 40% de moins que le précédent modèle phare GigaChat 3.1 Ultra avec 700 milliards de paramètres. Les poids du modèle sont disponibles pour les développeurs pour un déploiement indépendant, sans contacter l'API fermée de l'entreprise.

À quel point le modèle est devenu plus compact

GigaChat 3.5 Ultra pèse 432 milliards de paramètres contre 700 milliards pour GigaChat 3.1 Ultra — une réduction de presque 40%. Les développeurs soulignent que ce n'est pas un compromis de "plus petit, mais moins cher": selon eux, de nouvelles données, une recette d'entraînement mise à jour et des changements architecturaux ont rendu le modèle simultanément plus compact et plus puissant.

• GigaChat 3.5 Ultra — 432 milliards de paramètres, distribué en tant que code ouvert
• GigaChat 3.1 Ultra (modèle phare précédent de la ligne) — 700 milliards de paramètres
• Réduction de la taille du modèle — environ 40%, ou 268 milliards de paramètres
• Première fois pour la ligne GigaChat : l'architecture hybride propriétaire mise à l'échelle à des centaines de milliards de paramètres

Ce qui a changé dans l'architecture

L'équipe Sber a mis à l'échelle son architecture GigaChat hybride propriétaire à des centaines de milliards de paramètres pour la première fois dans le cadre d'une seule version. L'architecture hybride dans de tels modèles fait généralement référence à une combinaison de différents types de couches et de mécanismes d'attention, ce qui permet une mise à l'échelle sans croissance proportionnelle des coûts de calcul. Les développeurs disent que cela a permis d'accélérer simultanément l'inférence (génération de réponses) et d'élargir les capacités du modèle — principalement en code, les scénarios d'agent (quand le modèle appelle lui-même des outils et exécute des chaînes d'actions), et les domaines complexes.

"Ce n'est pas un compromis de "plus petit, mais moins cher": grâce aux

nouvelles données, une recette d'entraînement mise à jour et des changements architecturaux, le modèle est devenu plus puissant, ainsi que plus efficace en mémoire et en vitesse de génération," — selon le blog officiel de Sber sur Habr.

Pourquoi l'entreprise a réduit la taille du modèle

Sber explique la réduction de la taille du modèle non pas comme une économie, mais comme un calcul technique : un modèle plus petit est plus efficace en mémoire et vitesse de génération tout en maintenant ou en améliorant la qualité. La différence de 268 milliards de paramètres entre GigaChat 3.1 Ultra et GigaChat 3.5 Ultra se reflète directement dans l'infrastructure : moins un modèle a de paramètres, moins de mémoire vidéo est nécessaire pour le charger et plus la vitesse de génération de jetons est élevée avec le même équipement.

Ce que cela signifie pour les développeurs

Pour ceux qui déploient des modèles de code ouvert de manière indépendante, réduire le modèle phare de 700 milliards à 432 milliards de paramètres signifie un seuil d'entrée de matériel plus bas avec une qualité de réponse comparable ou supérieure. GigaChat 3.5 Ultra est orientée, entre autres, vers le code et les scénarios d'agent — exactement les tâches où les développeurs comparent le plus souvent les modèles de code ouvert avec les API fermées des concurrents.

Ce que cela signifie

Sber continue de publier des modèles phares de GigaChat en accès ouvert et se décale simultanément vers des architectures plus compactes et plus rapides — une tendance maintenant caractéristique de toute l'industrie des grands modèles de langage, où les développeurs cherchent un équilibre entre la taille du modèle, le coût de l'infrastructure et son utilité pratique en code et en scénarios d'agent.