Comment fonctionne GigaChat3 : GFusion, la version à diffusion

Le réseau de neurones GigaChat3 de Sberbank est apparu en mode diffusion en juillet 2026. Ce projet, baptisé GFusion, fait passer un modèle autorégressif à un fonctionnement radicalement nouveau, sans réentraînement complet.

En quoi les LLM à diffusion diffèrent des modèles habituels

Les modèles autorégressifs, comme GPT, LLaMA et le GigaChat de base, génèrent le texte token par token, strictement de gauche à droite. Un token déjà écrit ne peut pas être révisé : si le modèle « se trompe » au début, le seul moyen de corriger est de régénérer toute la réponse. Les modèles de langage à diffusion (dLLM) fonctionnent autrement. Ils partent d'une séquence entièrement bruitée ou masquée et « révèlent » le texte de façon itérative en plusieurs passes, à la manière des modèles de diffusion qui reconstruisent une image à partir du bruit.

Avantages théoriques : un dLLM voit tout le contexte en même temps, y compris la partie droite du texte pas encore écrit, ce qui pourrait améliorer la cohérence des longues réponses. Le débruitage en parallèle ouvre aussi la voie à une inférence plus rapide. Les auteurs du projet soulignent eux-mêmes que le domaine est « relativement nouveau » et que de nombreuses idées commencent à peine à être éprouvées en pratique à l'échelle réelle.

Comment l'équipe a réalisé la conversion

Le pari central du projet est l'efficacité en ressources. Pré-entraîner de zéro un modèle de 10 milliards de paramètres exige d'énormes quantités de temps GPU et de nombreux mois de travail d'infrastructure. L'équipe GigaChat Pretrain a choisi une tout autre voie : prendre un checkpoint autorégressif existant et l'adapter au paradigme de la diffusion, en conservant tout ce qui a été acquis lors du pré-entraînement.

GigaChat3-10B-A1.8B-base est un modèle parcimonieux : 10 milliards de paramètres au total, mais seulement 1,8 milliard sont actifs à chaque passe (architecture de type MoE), ce qui réduit la charge de calcul à l'inférence. L'expérience a produit deux checkpoints portant le suffixe GFusion.

Paramètres du projet :

• Modèle de base : GigaChat3-10B-A1.8B-base (10B de paramètres, 1.8B actifs à l'inférence)
• Approche : conversion AR → dLLM sans pré-entraînement de zéro
• Résultats : GFusion-10B-A1.8B-base et GFusion-10B-A1.8B
• Équipe : GigaChat Pretrain, Sberbank
• Calendrier : projet de stage, plusieurs mois

Le format même de l'expérience est remarquable : une transition architecturale non triviale a été menée dans le cadre d'un stage, ce qui indique que l'outillage est accessible à des équipes ne disposant pas des ressources des grands laboratoires.

Pourquoi c'est important pour l'IA en russe

GigaChat3 est l'un des principaux modèles ouverts optimisés pour la langue russe et pour les tâches de Sberbank. Sa conversion en mode diffusion préserve la « mémoire » linguistique du modèle : toutes les connaissances, tous les motifs et toutes les particularités linguistiques acquis lors du pré-entraînement restent en place. Seul le mécanisme de génération change : non pas ce que le modèle sait, mais la façon dont il l'exprime.

Entraîner de zéro un modèle de qualité en russe est nettement plus difficile que d'adapter un modèle existant : la pénurie de données d'entraînement de qualité et le coût élevé du pré-entraînement rendent le « recyclage » de checkpoints existants stratégiquement séduisant. Si l'approche GFusion démontre de réels gains en qualité ou en vitesse, elle pourrait être reproduite sur d'autres modèles russophones existants sans des mois de nouveau pré-entraînement.

Ce que cela signifie

GFusion montre que convertir des LLM autorégressifs en mode diffusion est une tâche praticable, même dans le cadre d'un stage. Si de nouvelles expériences confirment les avantages de l'approche, elle ouvrirait une voie économe en ressources pour moderniser toute une classe de modèles de langage, sans le coût d'un cycle complet de pré-entraînement.

En quoi le mode diffusion diffère-t-il d'un réseau de neurones ordinaire ?

Les modèles autorégressifs comme GPT et le GigaChat de base génèrent le texte token par token, de gauche à droite, et ce qui est écrit ne peut pas être réécrit. Le mode diffusion repose sur un autre principe : la génération en parallèle.

Qu'est-ce que GFusion de Sberbank ?

Il s'agit d'un projet expérimental dans lequel Sberbank a converti le modèle de langage GigaChat3-10B en mode diffusion sans réentraînement complet de zéro, en créant deux nouveaux checkpoints.