Сбербанк перевёл GigaChat3 в диффузионный режим: как устроен проект GFusion

Команда GigaChat Pretrain (Сбербанк) опубликовала в июле 2026 года технический разбор проекта GFusion — многомесячного эксперимента по переводу авторегрессионной модели GigaChat3-10B-A1.8B-base в диффузионный режим без переобучения с нуля. В результате появились два экспериментальных чекпоинта: GFusion-10B-A1.8B-base и GFusion-10B-A1.8B.

Чем диффузионные LLM отличаются от привычных

Авторегрессионные модели — GPT, LLaMA, базовый GigaChat — генерируют текст токен за токеном, строго слева направо. Раз написанный токен пересмотреть нельзя: если модель «промахнулась» в начале, исправить это можно только перегенерировав весь ответ. Диффузионные языковые модели (dLLM) работают иначе: стартуют с полностью зашумлённой или замаскированной последовательности и итеративно «проявляют» текст за несколько проходов — по аналогии с тем, как диффузионные модели воссоздают изображение из шума.

Теоретические преимущества: dLLM видит весь контекст одновременно, включая правую часть ещё не написанного текста, что потенциально улучшает связность длинных ответов. Параллельная деноизация открывает пространство для ускорения инференса. Авторы проекта сами подчёркивают: направление «относительно новое» и многие идеи только начинают проходить практическую проверку на реальных масштабах.

Как команда провела конвертацию

Ключевая ставка проекта — ресурсоэффективность. Предобучение 10-миллиардной модели с нуля требует колоссальных затрат GPU-времени и многих месяцев инфраструктурной работы. Команда GigaChat Pretrain выбрала принципиально другой путь: взять готовый чекпоинт авторегрессионной модели и адаптировать её под диффузионную парадигму, сохранив всё накопленное при предобучении.

GigaChat3-10B-A1.8B-base — разреженная модель: 10 миллиардов параметров в сумме, но в каждом проходе активны только 1,8 млрд (архитектура MoE-типа), что снижает вычислительную нагрузку при инференсе. В результате эксперимента появились два чекпоинта с суффиксом GFusion.

Параметры проекта:

• Базовая модель: GigaChat3-10B-A1.8B-base (10B параметров, 1.8B активных при инференсе)
• Подход: конвертация AR → dLLM без предобучения с нуля
• Результаты: GFusion-10B-A1.8B-base и GFusion-10B-A1.8B
• Команда: GigaChat Pretrain, Сбербанк
• Сроки: стажировочный проект, несколько месяцев

Сам формат эксперимента примечателен: нетривиальный архитектурный переход реализован в рамках стажировки — это говорит о доступности инструментария для команд, не располагающих ресурсами крупных лабораторий.

Почему это важно для русскоязычного AI

GigaChat3 — одна из ключевых открытых моделей с оптимизацией под русский язык и задачи Сбербанка. Конвертация в диффузионный режим сохраняет языковую «память» модели: все знания, паттерны и лингвистические особенности, накопленные при предобучении, никуда не исчезают. Меняется только механизм генерации — не то, что модель знает, а то, как она это выражает.

Обучить качественную русскоязычную модель с нуля значительно сложнее, чем адаптировать уже существующую: дефицит качественных обучающих данных и высокая стоимость предобучения делают «переработку» готовых чекпоинтов стратегически привлекательной. Если подход GFusion докажет реальные преимущества по качеству или скорости, его можно тиражировать на другие существующие русскоязычные модели без многомесячного повторного предобучения.

Что это значит

GFusion показывает, что конвертация авторегрессионных LLM в диффузионный режим — практически решаемая задача, доступная даже в формате стажировки. Если дальнейшие эксперименты подтвердят преимущества подхода, это откроет ресурсоэффективный путь к модернизации целого класса языковых моделей — без затрат на полный цикл предобучения.