Como funciona o GigaChat3: o GFusion, versão de difusão

A rede neural GigaChat3, do Sberbank, surgiu em modo de difusão em julho de 2026. O projeto, chamado GFusion, leva um modelo autorregressivo a uma forma de funcionamento radicalmente nova, sem retreinamento completo.

Como os LLMs de difusão diferem dos convencionais

Modelos autorregressivos, como GPT, LLaMA e o GigaChat base, geram texto token por token, estritamente da esquerda para a direita. Um token já escrito não pode ser revisto: se o modelo "erra" no começo, a única correção é regenerar a resposta inteira. Os modelos de linguagem de difusão (dLLMs) funcionam de outro jeito. Partem de uma sequência totalmente ruidosa ou mascarada e "revelam" o texto de forma iterativa, em várias passagens, de modo semelhante ao que os modelos de difusão fazem ao reconstruir uma imagem a partir de ruído.

Vantagens teóricas: um dLLM enxerga todo o contexto de uma vez, inclusive a parte à direita do texto ainda não escrito, o que potencialmente melhora a coerência de respostas longas. A remoção de ruído em paralelo também abre espaço para acelerar a inferência. Os próprios autores do projeto ressaltam que a área é "relativamente nova" e que muitas ideias só agora começam a ser testadas na prática em escala real.

Como a equipe fez a conversão

A aposta central do projeto é a eficiência de recursos. Pré-treinar do zero um modelo de 10 bilhões de parâmetros exige enormes quantidades de tempo de GPU e muitos meses de trabalho de infraestrutura. A equipe GigaChat Pretrain escolheu um caminho bem diferente: pegar um checkpoint autorregressivo pronto e adaptá-lo ao paradigma de difusão, preservando tudo o que foi acumulado no pré-treinamento.

O GigaChat3-10B-A1.8B-base é um modelo esparso: 10 bilhões de parâmetros no total, mas apenas 1,8 bilhão fica ativo a cada passagem (arquitetura do tipo MoE), o que reduz a carga computacional na inferência. O experimento resultou em dois checkpoints com o sufixo GFusion.

Parâmetros do projeto:

• Modelo base: GigaChat3-10B-A1.8B-base (10B de parâmetros, 1.8B ativos na inferência)
• Abordagem: conversão AR → dLLM sem pré-treinamento do zero
• Resultados: GFusion-10B-A1.8B-base e GFusion-10B-A1.8B
• Equipe: GigaChat Pretrain, Sberbank
• Prazo: projeto de estágio, vários meses

O formato do experimento chama atenção por si só: uma transição arquitetural nada trivial foi feita no âmbito de um estágio, o que indica que as ferramentas estão ao alcance de equipes sem os recursos de grandes laboratórios.

Por que isso importa para a IA em russo

O GigaChat3 é um dos principais modelos abertos otimizados para o idioma russo e para as tarefas do Sberbank. A conversão para o modo de difusão preserva a "memória" linguística do modelo: todo o conhecimento, os padrões e as particularidades linguísticas acumulados no pré-treinamento continuam lá. Muda apenas o mecanismo de geração: não o que o modelo sabe, mas como ele se expressa.

Treinar do zero um modelo de qualidade em russo é consideravelmente mais difícil do que adaptar um já existente: a escassez de dados de treinamento de qualidade e o alto custo do pré-treinamento tornam estrategicamente atraente "reaproveitar" checkpoints prontos. Se a abordagem GFusion comprovar vantagens reais em qualidade ou velocidade, ela poderá ser replicada em outros modelos russos existentes sem meses de novo pré-treinamento.

O que isso significa

O GFusion mostra que converter LLMs autorregressivos para o modo de difusão é uma tarefa viável na prática, possível até no formato de um estágio. Se novos experimentos confirmarem as vantagens da abordagem, ela abrirá um caminho eficiente em recursos para modernizar toda uma classe de modelos de linguagem, sem o custo de um ciclo completo de pré-treinamento.

Qual é a diferença entre o modo de difusão e uma rede neural comum?

Modelos autorregressivos como GPT e o GigaChat base geram texto token por token, da esquerda para a direita, e o que já foi escrito não pode ser reescrito. O modo de difusão funciona com outro princípio: a geração paralela.

O que é o GFusion do Sberbank?

É um projeto experimental em que o Sberbank converteu o modelo de linguagem GigaChat3-10B para o modo de difusão sem retreinamento completo do zero, criando dois novos checkpoints.