Sberbank a Converti GigaChat3 en Mode Diffusion : Comment Fonctionne le Projet GFusion

L'équipe GigaChat Pretrain (Sberbank) a publié en juillet 2026 une analyse technique du projet GFusion — une expérience de plusieurs mois sur la conversion du modèle autorégressif GigaChat3-10B-A1.8B-base en mode diffusion sans réentraînement à partir de zéro. En résultat, deux points de contrôle expérimentaux ont émergé : GFusion-10B-A1.8B-base et GFusion-10B-A1.8B.

Comment les LLMs de diffusion diffèrent des modèles traditionnels

Les modèles autoregressifs — GPT, LLaMA, GigaChat base — génèrent le texte token par token, strictement de gauche à droite. Une fois qu'un token est écrit, il ne peut pas être revu : si le modèle 'échoue' au début, la seule façon de le corriger est en régénérant toute la réponse. Les modèles de langage de diffusion (dLLM) fonctionnent différemment : ils commencent avec une séquence complètement bruitée ou masquée et révèlent itérativement le texte en plusieurs passages — analogue à la façon dont les modèles de diffusion reconstruisent une image à partir du bruit.

Avantages théoriques : les dLLM voient le contexte entier simultanément, y compris la partie droite du texte non encore écrit, ce qui améliore potentiellement la cohérence des réponses longues. Le débruitage parallèle ouvre des possibilités pour l'accélération de l'inférence. Les auteurs du projet eux-mêmes soulignent : la direction est 'relativement nouvelle' et de nombreuses idées ne font que commencer à subir des tests pratiques à des échelles réelles.

Comment l'équipe a effectué la conversion

Le pari clé du projet est l'efficacité des ressources. Le préentraînement d'un modèle de 10 milliards de paramètres à partir de zéro nécessite une dépense colossale de temps GPU et de nombreux mois de travail d'infrastructure. L'équipe GigaChat Pretrain a choisi un chemin fondamentalement différent : prendre un checkpoint prêt d'un modèle autorégressif et l'adapter au paradigme de diffusion, en préservant tout ce qui s'est accumulé pendant le préentraînement.

GigaChat3-10B-A1.8B-base est un modèle creux : 10 milliards de paramètres au total, mais seulement 1,8 milliard sont actifs à chaque passage (architecture de type MoE), ce qui réduit la charge de calcul lors de l'inférence. En résultat de l'expérience, deux points de contrôle avec le suffixe GFusion ont émergé.

Paramètres du projet:

• Modèle de base: GigaChat3-10B-A1.8B-base (10B paramètres, 1.8B actifs lors de l'inférence)
• Approche: conversion AR → dLLM sans préentraînement à partir de zéro
• Résultats: GFusion-10B-A1.8B-base et GFusion-10B-A1.8B
• Équipe: GigaChat Pretrain, Sberbank
• Chronologie: projet de stage, plusieurs mois

Le format de l'expérience lui-même est remarquable : une transition architecturale non triviale a été implémentée dans le cadre d'un stage — cela parle de l'accessibilité des outils pour les équipes sans les ressources des grands laboratoires.

Pourquoi c'est important pour l'IA russe

GigaChat3 est l'un des modèles ouverts clés optimisés pour la langue russe et les tâches de Sberbank. La conversion en mode diffusion préserve la 'mémoire' linguistique du modèle : toutes les connaissances, les motifs et les caractéristiques linguistiques accumulés lors du préentraînement restent intacts. Seul le mécanisme de génération change — non pas ce que le modèle sait, mais comment il l'exprime.

Former un modèle de qualité en langue russe à partir de zéro est considérablement plus difficile que d'adapter un modèle existant : une pénurie de données d'entraînement de qualité et des coûts de préentraînement élevés rendent reformulation de points de contrôle prêts stratégiquement attrayante. Si l'approche GFusion prouve des avantages réels en qualité ou en vitesse, elle peut être mise à l'échelle vers d'autres modèles existants en langue russe sans mois de réentraînement.

Ce que cela signifie

GFusion démontre que la conversion des LLMs autoregressifs en mode diffusion est une tâche pratiquement soluble, accessible même dans un format de stage. Si d'autres expériences confirment les avantages de l'approche, elle ouvrira une voie efficace en ressources pour moderniser une classe entière de modèles de langage — sans les coûts d'un cycle complet de préentraînement.