Cómo funciona GigaChat3: GFusion, la versión de difusión

La red neuronal GigaChat3 de Sberbank apareció en modo de difusión en julio de 2026. El proyecto, llamado GFusion, traslada un modelo autorregresivo a una forma de trabajo radicalmente nueva sin reentrenarlo por completo.

En qué se diferencian los LLM de difusión de los habituales

Los modelos autorregresivos, como GPT, LLaMA y el GigaChat base, generan texto token a token, estrictamente de izquierda a derecha. Un token ya escrito no se puede revisar: si el modelo «se equivoca» al principio, la única forma de corregirlo es regenerar toda la respuesta. Los modelos de lenguaje de difusión (dLLM) funcionan de otro modo. Parten de una secuencia totalmente ruidosa o enmascarada y «revelan» el texto de forma iterativa en varias pasadas, igual que los modelos de difusión reconstruyen una imagen a partir del ruido.

Ventajas teóricas: un dLLM ve todo el contexto a la vez, incluida la parte derecha del texto aún no escrito, lo que podría mejorar la coherencia de las respuestas largas. La eliminación de ruido en paralelo también abre margen para acelerar la inferencia. Los propios autores del proyecto subrayan que el campo es «relativamente nuevo» y que muchas ideas apenas empiezan a probarse en la práctica a escala real.

Cómo hizo la conversión el equipo

La apuesta clave del proyecto es la eficiencia de recursos. Preentrenar desde cero un modelo de 10.000 millones de parámetros exige enormes cantidades de tiempo de GPU y muchos meses de trabajo de infraestructura. El equipo GigaChat Pretrain eligió un camino radicalmente distinto: tomar un checkpoint autorregresivo ya listo y adaptarlo al paradigma de difusión, conservando todo lo acumulado durante el preentrenamiento.

GigaChat3-10B-A1.8B-base es un modelo disperso: 10.000 millones de parámetros en total, pero solo 1.800 millones están activos en cada pasada (arquitectura de tipo MoE), lo que reduce la carga de cálculo en la inferencia. El experimento produjo dos checkpoints con el sufijo GFusion.

Parámetros del proyecto:

• Modelo base: GigaChat3-10B-A1.8B-base (10B de parámetros, 1.8B activos en la inferencia)
• Enfoque: conversión AR → dLLM sin preentrenamiento desde cero
• Resultados: GFusion-10B-A1.8B-base y GFusion-10B-A1.8B
• Equipo: GigaChat Pretrain, Sberbank
• Plazos: proyecto de prácticas, varios meses

El propio formato del experimento llama la atención: una transición arquitectónica nada trivial se llevó a cabo en el marco de unas prácticas, lo que indica que las herramientas están al alcance de equipos que no disponen de los recursos de los grandes laboratorios.

Por qué importa para la IA en ruso

GigaChat3 es uno de los principales modelos abiertos optimizados para el idioma ruso y para las tareas de Sberbank. Su conversión al modo de difusión conserva la «memoria» lingüística del modelo: todos los conocimientos, patrones y rasgos lingüísticos acumulados durante el preentrenamiento siguen ahí. Solo cambia el mecanismo de generación: no lo que el modelo sabe, sino cómo lo expresa.

Entrenar desde cero un modelo de calidad en ruso es bastante más difícil que adaptar uno existente: la escasez de datos de entrenamiento de calidad y el alto coste del preentrenamiento hacen estratégicamente atractivo «reciclar» checkpoints ya listos. Si el enfoque GFusion demuestra ventajas reales en calidad o velocidad, podría replicarse en otros modelos rusos existentes sin meses de nuevo preentrenamiento.

Qué significa

GFusion demuestra que convertir LLM autorregresivos al modo de difusión es una tarea resoluble en la práctica, incluso en el formato de unas prácticas. Si nuevos experimentos confirman las ventajas del enfoque, abriría una vía eficiente en recursos para modernizar toda una clase de modelos de lenguaje, sin el coste de un ciclo completo de preentrenamiento.

¿En qué se diferencia el modo de difusión de una red neuronal normal?

Los modelos autorregresivos como GPT y el GigaChat base generan texto token a token de izquierda a derecha, y lo ya escrito no se puede reescribir. El modo de difusión funciona con otro principio: la generación en paralelo.

¿Qué es GFusion de Sberbank?

Es un proyecto experimental en el que Sberbank convirtió el modelo de lenguaje GigaChat3-10B al modo de difusión sin reentrenarlo por completo desde cero, y creó dos nuevos checkpoints.