Sberbank Convirtió GigaChat3 a Modo Difusión: Cómo Funciona el Proyecto GFusion

El equipo GigaChat Pretrain (Sberbank) publicó en julio de 2026 un análisis técnico del proyecto GFusion — un experimento de varios meses sobre la conversión del modelo autorregresivo GigaChat3-10B-A1.8B-base al modo de difusión sin reentrenamiento desde cero. Como resultado, surgieron dos puntos de control experimentales: GFusion-10B-A1.8B-base y GFusion-10B-A1.8B.

Cómo los LLMs de difusión difieren de los tradicionales

Los modelos autoregressivos — GPT, LLaMA, GigaChat base — generan texto token por token, estrictamente de izquierda a derecha. Una vez que se escribe un token, no se puede revisar: si el modelo 'falla' al principio, la única forma de corregirlo es regenerando toda la respuesta. Los modelos de lenguaje de difusión (dLLM) funcionan de manera diferente: comienzan con una secuencia completamente ruidosa o enmascarada e iterativamente 'revelan' texto en varios pasos — análogo a cómo los modelos de difusión reconstruyen una imagen a partir del ruido.

Ventajas teóricas: los dLLM ven todo el contexto simultáneamente, incluida la parte derecha del texto aún no escrito, lo que potencialmente mejora la coherencia de respuestas largas. El desruido paralelo abre espacio para aceleración de la inferencia. Los propios autores del proyecto enfatizan: la dirección es 'relativamente nueva' y muchas ideas apenas están comenzando a someterse a pruebas prácticas en escalas reales.

Cómo el equipo realizó la conversión

La apuesta clave del proyecto es la eficiencia de recursos. El preentrenamiento de un modelo de 10 mil millones de parámetros desde cero requiere un gasto colosal de tiempo de GPU y muchos meses de trabajo de infraestructura. El equipo GigaChat Pretrain eligió un camino fundamentalmente diferente: tomar un checkpoint listo de un modelo autorregresivo y adaptarlo al paradigma de difusión, preservando todo lo acumulado durante el preentrenamiento.

GigaChat3-10B-A1.8B-base es un modelo escaso: 10 mil millones de parámetros en total, pero solo 1,8 mil millones están activos en cada paso (arquitectura tipo MoE), lo que reduce la carga computacional durante la inferencia. Como resultado del experimento, surgieron dos checkpoints con el sufijo GFusion.

Parámetros del proyecto:

• Modelo base: GigaChat3-10B-A1.8B-base (10B parámetros, 1.8B activos durante la inferencia)
• Enfoque: conversión AR → dLLM sin preentrenamiento desde cero
• Resultados: GFusion-10B-A1.8B-base y GFusion-10B-A1.8B
• Equipo: GigaChat Pretrain, Sberbank
• Cronograma: proyecto de pasantía, varios meses

El mismo formato del experimento es notable: una transición arquitectónica no trivial fue implementada dentro de una pasantía — esto habla sobre la accesibilidad de herramientas para equipos sin los recursos de grandes laboratorios.

Por qué esto importa para la IA en idioma ruso

GigaChat3 es uno de los modelos abiertos clave optimizados para el idioma ruso y las tareas de Sberbank. La conversión al modo de difusión preserva la 'memoria' lingüística del modelo: todo el conocimiento, patrones y características lingüísticas acumuladas durante el preentrenamiento permanecen intactos. Solo cambia el mecanismo de generación — no lo que el modelo sabe, sino cómo lo expresa.

Entrenar un modelo de calidad en idioma ruso desde cero es significativamente más difícil que adaptar uno existente: una escasez de datos de entrenamiento de calidad y altos costos de preentrenamiento hacen que la 'reformulación' de checkpoints listos sea estratégicamente atractiva. Si el enfoque GFusion prueba ventajas reales en calidad o velocidad, puede escalarse a otros modelos existentes en idioma ruso sin meses de reentrenamiento.

Qué significa esto

GFusion demuestra que la conversión de LLMs autoregressivos al modo de difusión es una tarea prácticamente solucionable, accesible incluso en un formato de pasantía. Si futuros experimentos confirman las ventajas del enfoque, abrirá un camino eficiente en recursos para modernizar una clase completa de modelos de lenguaje — sin los costos de un ciclo completo de preentrenamiento.