Sberbank Converteu GigaChat3 para Modo Difusão: Como Funciona o Projeto GFusion

A equipe GigaChat Pretrain (Sberbank) publicou em julho de 2026 um detalhamento técnico do projeto GFusion — um experimento de vários meses sobre a conversão do modelo autoregressivo GigaChat3-10B-A1.8B-base para modo de difusão sem retreinamento do zero. Como resultado, surgiram dois checkpoints experimentais: GFusion-10B-A1.8B-base e GFusion-10B-A1.8B.

Como dLLMs de difusão diferem dos tradicionais

Os modelos autoregressivos — GPT, LLaMA, GigaChat base — geram texto token por token, estritamente da esquerda para a direita. Uma vez que um token é escrito, não pode ser revisto: se o modelo 'erra' no início, a única forma de corrigir é regenerando toda a resposta. Os modelos de linguagem de difusão (dLLM) funcionam diferentemente: começam com uma sequência totalmente ruidosa ou mascarada e iterativamente 'revelam' o texto em vários passes — análogo a como os modelos de difusão reconstroem uma imagem a partir do ruído.

Vantagens teóricas: dLLMs veem todo o contexto simultaneamente, incluindo a parte direita do texto ainda não escrito, o que potencialmente melhora a coerência de respostas longas. A desruidização paralela abre espaço para aceleração da inferência. Os próprios autores do projeto enfatizam: a direção é 'relativamente nova' e muitas ideias estão apenas começando a passar por testes práticos em escalas reais.

Como o time conduziu a conversão

A aposta-chave do projeto é a eficiência de recursos. O pré-treinamento de um modelo de 10 bilhões de parâmetros do zero requer gasto colossal de tempo de GPU e muitos meses de trabalho de infraestrutura. A equipe GigaChat Pretrain escolheu um caminho fundamentalmente diferente: pegar um checkpoint pronto de um modelo autoregressivo e adaptá-lo para o paradigma de difusão, preservando tudo acumulado durante o pré-treinamento.

GigaChat3-10B-A1.8B-base é um modelo esparso: 10 bilhões de parâmetros no total, mas apenas 1,8 bilhões estão ativos em cada passagem (arquitetura tipo MoE), o que reduz a carga computacional durante a inferência. Como resultado do experimento, dois checkpoints com o sufixo GFusion surgiram.

Parâmetros do projeto:

• Modelo base: GigaChat3-10B-A1.8B-base (10B parâmetros, 1.8B ativos durante inferência)
• Abordagem: conversão AR → dLLM sem pré-treinamento do zero
• Resultados: GFusion-10B-A1.8B-base e GFusion-10B-A1.8B
• Equipe: GigaChat Pretrain, Sberbank
• Cronograma: projeto de estágio, vários meses

O próprio formato do experimento é notável: uma transição arquitetônica não trivial foi implementada dentro de um estágio — isso fala sobre a acessibilidade de ferramentas para equipes sem os recursos de grandes laboratórios.

Por que isso importa para IA em língua russa

GigaChat3 é um dos modelos abertos chave otimizados para a língua russa e tarefas do Sberbank. A conversão para modo de difusão preserva a 'memória' linguística do modelo: todo o conhecimento, padrões e características linguísticas acumuladas durante o pré-treinamento permanecem intactos. Apenas o mecanismo de geração muda — não o que o modelo sabe, mas como o exprime.

Treinar um modelo de qualidade em língua russa do zero é significativamente mais difícil do que adaptar um existente: uma escassez de dados de treinamento de qualidade e altos custos de pré-treinamento tornam a 'reformulação' de checkpoints prontos estrategicamente atraente. Se a abordagem GFusion provar vantagens reais em qualidade ou velocidade, ela pode ser escalada para outros modelos existentes em língua russa sem meses de retreinamento.

O que isso significa

GFusion demonstra que a conversão de LLMs autoregressivos para modo de difusão é uma tarefa praticamente solucionável, acessível até em formato de estágio. Se experimentos posteriores confirmarem as vantagens da abordagem, isso abrirá um caminho eficiente de recursos para modernizar uma classe inteira de modelos de linguagem — sem os custos de um ciclo completo de pré-treinamento.