Halcyon обошла LlamaGen и JiT-T2I, потратив на претрейн в 18–275 раз меньше compute

Команда исследователей показала, что сильная text-to-image модель не требует языкового претрейна интернет-масштаба. Семейство Halcyon обучено полностью с нуля на GPIC, датасете из 100 млн пар «изображение–текст». Младшая версия Halcyon-0.52B набрала 48,0 gFD против 63,3 у LlamaGen-XL/8 и потратила на претрейн в 18,2 раза меньше вычислений. Старшая, Halcyon-1.6B, обошла JiT-T2I-XXL/8++ со счётом 35,3 против 41,0 при в 275 раз меньшем компьюте. В обеих парах меньше значит лучше.

Что именно проверяли

Современные T2I-системы обычно берут за основу языковую модель, предобученную на огромных текстовых корпусах. Подразумевается, что такая модель лучше понимает промпт, а значит, точнее рисует. Авторы работы ставят этот тезис под вопрос и спрашивают, нужен ли языковой претрейн для сильной генерации изображений.

Halcyon построена как early-fusion мультимодальная авторегрессионная модель. Текстовые и визуальные токены обрабатываются вместе с самого начала, без отдельной предобученной языковой башни. Весь обучающий сигнал приходит из 100 млн пар «изображение–текст». По меркам интернет-корпусов это скромный объём.

Цифры и контрольные эксперименты

Главный результат сводится к соотношению качества и затрат:

• Halcyon-0.52B: 48,0 gFD против 63,3 у LlamaGen-XL/8, при в 18,2 раза меньшем претрейн-компьюте.
• Halcyon-1.6B: 35,3 gFD против 41,0 у JiT-T2I-XXL/8++, при в 275 раз меньшем претрейн-компьюте.
• Обучающие данные: GPIC, 100 млн пар «изображение–текст».
• Архитектура: early-fusion мультимодальная авторегрессия, обучение с нуля.

Само сравнение с конкурентами ничего не доказывает о причинах. Поэтому важнее другой пункт: авторы провели контролируемые эксперименты, и претрейн только на тексте T2I-генерацию не улучшил. Это уже эмпирическое наблюдение, а не просто удачный бенчмарк. Оно говорит, что текстовые знания, накопленные на языковых корпусах, для задачи «нарисуй по описанию» дают меньше, чем принято считать. Оговорка одна: вывод получен в рамках конкретной постановки, размеров моделей и датасета. Переносить его на любые масштабы без проверки нельзя.

Подписи к картинкам бесплатно

Отдельная деталь касается captioning. В T2I-обучении часть подписей обычно случайно отбрасывают (caption dropout), чтобы модель училась и условной, и безусловной генерации. В Halcyon этот приём заменён на I2T-supervision: вместо пустого условия модель получает задачу описать изображение. В итоге она учится подписывать картинки и сохраняет конкурентное качество T2I при том же бюджете претрейна.

Одна модель в одном обучающем прогоне получает две способности. Для команд, которым нужны и генерация, и разметка изображений, это возможность не держать два отдельных пайплайна.

Практические выводы

Для исследователей и небольших команд главный сигнал в том, что вход в обучение собственной T2I-модели дешевле, чем казалось. Датасет в 100 млн пар заметно меньше типичных веб-корпусов, а разница в претрейн-компьюте измеряется десятками и сотнями раз. Если результаты воспроизведутся на других данных, у лабораторий без доступа к гигантским кластерам появится рабочая траектория.

Проверить это можно самостоятельно: код и модели опубликованы на странице проекта cs.stanford.edu/~keshik/halcyon. Стоит прогнать Halcyon на своих промптах и доменах, потому что gFD описывает распределение, а не пригодность для конкретного продукта. Также полезно сравнить вариант с I2T-supervision и классическую схему с caption dropout на собственных данных.

И остаётся вопрос масштаба. Работа показывает результат для моделей на 0,52 и 1,6 млрд параметров. Сохранится ли преимущество на порядок выше, пока неясно. Ответит на него следующий раунд экспериментов.