DiffusionGemma от Google пишет текст блоками по 256 токенов сразу, а не по одному

Почти все языковые модели, которыми вы пользуетесь, работают одинаково: выдают токен, дописывают его к тексту, прогоняют всё заново и выдают следующий. У этого подхода есть две известные боли. Первая: при локальном запуске для одного пользователя узкое место не вычисления, а память. Чтобы выдать один токен, модель каждый раз тянет все веса, а вычислительные блоки GPU в это время простаивают. Вторая: написанное нельзя переписать. Модель вошла в тупик посреди ответа и обратно уже не выйдет.

DiffusionGemma от Google DeepMind пытается снять обе проблемы разом. Это экспериментальная open-модель под Apache 2.0, которую выпустили 10 июня 2026 года. Под капотом архитектура Gemma 4 26B: Mixture-of-Experts, 26 млрд параметров, из которых на токен задействуется 3,8 млрд (отсюда суффикс A4B).

Как она пишет

Модель берёт холст из 256 токенов-заглушек, по сути шума, и обрабатывает его целиком за несколько проходов. Токены, в которых она уверена, помогают определиться остальным, и текст постепенно «проявляется», как картинка в Stable Diffusion. Только вместо пикселей здесь слова.

Если ответ длиннее 256 токенов, включается блочно-авторегрессионный режим. Готовый холст фиксируется в KV-кэше обычным причинным вниманием, и начинается новый холст, который видит всё предыдущее. Внутри блока внимание двустороннее: любой токен смотрит на любой другой. Отсюда главная новинка, самокоррекция. Если уверенность в токене упала, сэмплер может снова зашумить его и дать модели переделать. Обычная LLM так не умеет.

Практический эффект такой: узкое место переезжает с пропускной способности памяти на вычисления. GPU получает по-настоящему параллельную работу вместо ожидания между шагами. Именно здесь и должен возникать выигрыш в скорости.

Как запустить

Модель мультимодальная на входе: текст, изображения произвольного размера и видео, но не аудио. Выход всегда текстовый. Это не генератор картинок с диффузионным ярлыком, диффузия применена только к тексту. Есть системные инструкции и настраиваемый режим thinking, который включается параметром enable_thinking=True и выводит рассуждения в отдельный блок.

По железу картина такая. Для полной модели в Google рекомендуют карту с памятью больше 60 ГБ, класса A100 или H100. Квантованная версия укладывается в 18 ГБ VRAM, так что запустить её можно на RTX 4090 или 5090.

По софту нужен transformers версии 5.11.0 или новее: более старые просто не узнают модель. Загружать её надо через отдельный класс DiffusionGemmaForBlockDiffusion, а не через привычный AutoModelForCausalLM, потому что у неё свой цикл денойзинга. Вместо токенайзера используется AutoProcessor, ведь он же обрабатывает картинки и видео. Для наблюдения за процессом есть TextDiffusionStreamer: он печатает состояние холста после каждого шага, и видно, как текст собирается из шума.

Для продакшена Google вместе с командой vLLM встроила итеративный денойзинг в стандартный движок. Команда vllm serve поддерживает длинный контекст (в примере 262144 токена), а сэмплер задаётся через hf-overrides, например entropy_bound.

Что с этим делать

Сразу оговоримся: это превью для исследований, а не готовый продукт, и Google говорит об этом прямо. Перед клиентским использованием стоит прочитать политику допустимого использования Gemma. Цифр реального ускорения в материале нет, так что выигрыш по латентности придётся мерить на своих задачах.

Но попробовать стоит. Если вы строите локальные ассистенты, пайплайны с большим объёмом коротких генераций или просто следите, куда движется архитектура LLM, диффузия для текста становится рабочим инструментом, который можно запустить на одной игровой видеокарте. Начните с TextDiffusionStreamer: пять минут наблюдения за денойзингом объяснят механику лучше любой статьи.