UCSD обучил картиночную модель на 3 млрд параметров за 6600 GPU-часов H100

Команда из Калифорнийского университета в Сан-Диего предлагает по-новому учить модели, которые рисуют картинки по тексту. Генерацию делят на две задачи: понять, что должно быть на изображении, и прорисовать это в деталях. Первую решает авторегрессионная модель, которая предсказывает токены по одному, как языковая. Вторую решает диффузия, то есть постепенное «проявление» картинки из шума. По этой схеме исследователи обучили модель на 3 млрд параметров всего за 6600 GPU-часов на H100. Она набрала 86 на GenEval и 87 на DPG-Bench. GenEval проверяет, правильно ли модель передала объекты, их число, цвета и расположение из промпта. DPG-Bench делает то же на длинных подробных описаниях.

Один бэкбон учит смысл, другой дорисовывает пиксели

Обычно авторегрессионные модели и диффузию сравнивают как соперников: кто даст картинку лучше. Авторы считают, что сравнение некорректно, потому что обе системы решают сразу две разные задачи. Нужно усвоить визуальные знания: как выглядят предметы и как они расположены. И нужно воплотить их в детальное изображение.

Схема построена по аналогии с языковыми моделями, где сначала идёт предобучение, а потом дообучение.

• На первом этапе замороженный токенизатор превращает картинку в дискретные токены. Текстовая авторегрессионная модель учится их предсказывать. Позиции для предсказания выбираются в случайном порядке, и модель получает специальные токены-указатели. • На втором этапе авторегрессионный бэкбон замораживают. К нему добавляют обучаемые диффузионные модули, которые используют его слои внимания и внутренние представления. • Диффузия работает прямо в пикселях, без скрытого пространства. Она обучается методом flow matching, то есть предсказывает, как двигаться от шума к чистой картинке. • При обучении рендерер получает токены настоящего изображения. При генерации их заменяют токены, которые авторегрессионная модель выдала по тексту запроса.

Лучшая реконструкция не делает картинку лучше

Первый эксперимент проводили на моделях с 400M параметров в финале. Двухэтапные варианты состояли из бэкбона на 250M и рендерера на 150M. Авторегрессия сравнивалась с латентной диффузией (LDM) в роли предобучения.

• Авторегрессия плюс диффузия набрала 64,8 на GenEval уже после 100 тысяч обновлений. Чистая пиксельная диффузия после 400 тысяч итераций дала 61,2. • После дальнейшего обучения результат вырос до 65,5 на GenEval и 71,1 на DPG-Bench. • Прямая латентная диффузия показала 57,3, а связка «латентная диффузия, затем пиксельная» только 56,6. Одно разделение на два этапа ничего не гарантирует. Нужна именно авторегрессия.

Дальше проверяли, чему должен учиться авторегрессионный этап. Сравнили три токенизатора. Первый, Recon, на базе Emu3.5, сохраняет детали для восстановления картинки. Второй, Semantic-Recon, квантует признаки замороженного энкодера Qwen2.5-VL и обучается с реконструкцией. Третий, Semantic-LM, обучается только через предсказание следующего токена внутри замороженной Qwen2.5-VL, без декодера изображений и функции потерь на реконструкцию.

Результат неожиданный. Recon лучше всех восстанавливает картинки и лучше генерирует сам по себе, но финальный результат у него самый слабый. Semantic-Recon даёт 65,5 на GenEval против 54,7 у Recon, а на DPG-Bench 71,1 против 63,0. По AR-only GenEval у Recon выше (57,49 против 50,44), но после диффузии порядок меняется: 54,67 против 65,51. Semantic-LM без всякой реконструкции дал 64,8 на GenEval и 67,7 на DPG-Bench. Вывод авторов: финальное качество определяет семантика токенов, а не их способность точно восстановить пиксели.

Законы масштабирования и бюджет в 6600 GPU-часов

Когда задач две, возникает вопрос: как делить вычисления между этапами. Авторы вывели законы масштабирования отдельно для авторегрессионного предобучения и диффузионного дообучения. Авторегрессионный закон подгоняли по 18 моделям от 55,71M до 2,43B параметров. Для сравнения обучили и пиксельную диффузию с нуля, подобрав для неё гиперпараметры отдельно.

При равных размере модели и объёме данных диффузия после авторегрессионного предобучения показывает меньшую потерю и меньшую подогнанную асимптоту, чем модель с нуля. Предобучение не просто ускоряет сходимость, оно поднимает потолок качества рендеринга.

По этим законам выбрали модель примерно на 3B параметров и распределили бюджет между этапами. На выходе получилась text-to-image модель с 86 на GenEval и 87 на DPG-Bench.

Для инженеров это означает, что токенизатору для генерации картинок не нужен декодер. Достаточно семантики, обученной по языковому сигналу. Тогда разделение «знания отдельно, рендеринг отдельно» позволяет получить конкурентную модель на скромном бюджете. Для лабораторий без больших кластеров это заметное снижение порога входа. Оговорка в том, что результаты получены на конкретных бенчмарках и нескольких токенизаторах, а общность подхода ещё предстоит проверить.