Как устроена нейросеть GigaChat3: диффузионный GFusion

Нейросеть GigaChat3 от Сбербанка появилась в июле 2026 года в диффузионном режиме — это проект GFusion, который переводит авторегрессионную модель в принципиально новый способ работы без полного переобучения.

Чем диффузионные LLM отличаются от привычных

Авторегрессионные модели — GPT, LLaMA, базовый GigaChat — генерируют текст токен за токеном, строго слева направо. Раз написанный токен пересмотреть нельзя: если модель «промахнулась» в начале, исправить это можно только перегенерировав весь ответ. Диффузионные языковые модели (dLLM) работают иначе: стартуют с полностью зашумлённой или замаскированной последовательности и итеративно «проявляют» текст за несколько проходов — по аналогии с тем, как диффузионные модели воссоздают изображение из шума.

Теоретические преимущества: dLLM видит весь контекст одновременно, включая правую часть ещё не написанного текста, что потенциально улучшает связность длинных ответов. Параллельная деноизация открывает пространство для ускорения инференса. Авторы проекта сами подчёркивают: направление «относительно новое» и многие идеи только начинают проходить практическую проверку на реальных масштабах.

Как команда провела конвертацию

Ключевая ставка проекта — ресурсоэффективность. Предобучение 10-миллиардной модели с нуля требует колоссальных затрат GPU-времени и многих месяцев инфраструктурной работы. Команда GigaChat Pretrain выбрала принципиально другой путь: взять готовый чекпоинт авторегрессионной модели и адаптировать её под диффузионную парадигму, сохранив всё накопленное при предобучении.

GigaChat3-10B-A1.8B-base — разреженная модель: 10 миллиардов параметров в сумме, но в каждом проходе активны только 1,8 млрд (архитектура MoE-типа), что снижает вычислительную нагрузку при инференсе. В результате эксперимента появились два чекпоинта с суффиксом GFusion.

Параметры проекта:

• Базовая модель: GigaChat3-10B-A1.8B-base (10B параметров, 1.8B активных при инференсе)
• Подход: конвертация AR → dLLM без предобучения с нуля
• Результаты: GFusion-10B-A1.8B-base и GFusion-10B-A1.8B
• Команда: GigaChat Pretrain, Сбербанк
• Сроки: стажировочный проект, несколько месяцев

Сам формат эксперимента примечателен: нетривиальный архитектурный переход реализован в рамках стажировки — это говорит о доступности инструментария для команд, не располагающих ресурсами крупных лабораторий.

Почему это важно для русскоязычного AI

GigaChat3 — одна из ключевых открытых моделей с оптимизацией под русский язык и задачи Сбербанка. Конвертация в диффузионный режим сохраняет языковую «память» модели: все знания, паттерны и лингвистические особенности, накопленные при предобучении, никуда не исчезают. Меняется только механизм генерации — не то, что модель знает, а то, как она это выражает.

Обучить качественную русскоязычную модель с нуля значительно сложнее, чем адаптировать уже существующую: дефицит качественных обучающих данных и высокая стоимость предобучения делают «переработку» готовых чекпоинтов стратегически привлекательной. Если подход GFusion докажет реальные преимущества по качеству или скорости, его можно тиражировать на другие существующие русскоязычные модели без многомесячного повторного предобучения.

Что это значит

GFusion показывает, что конвертация авторегрессионных LLM в диффузионный режим — практически решаемая задача, доступная даже в формате стажировки. Если дальнейшие эксперименты подтвердят преимущества подхода, это откроет ресурсоэффективный путь к модернизации целого класса языковых моделей — без затрат на полный цикл предобучения.

В чём отличие диффузионного режима от обычной нейросети?

Авторегрессионные модели вроде GPT и базового GigaChat генерируют текст токен за токеном слева направо, и переписать уже написанное нельзя. Диффузионный режим работает по другому принципу параллельной генерации.

Что такое GFusion от Сбербанка?

Это экспериментальный проект, где Сбербанк перевёл языковую модель GigaChat3-10B в диффузионный режим без полного переобучения с нуля, создав два новых чекпоинта.