LILIE учит генерацию картинок через язык и снижает gFD с 66,84 до 53,01

Команда исследователей представила LILIE (произносится «лили») — Language-Informed and Lossless Image Encoder, обратимый кодировщик изображений, который обучается вместе с vision-language моделью. На его основе авторы построили простой языково-информированный лосс для генерации картинок по тексту. В экспериментах с моделями JiT на датасете GPIC метрика gFD упала с 66,84 до 53,01: почти 14 пунктов относительно базовой модели, обученной только на пиксельном лоссе. Код, энкодеры и генеративные модели выложены в открытый доступ.

Зачем пикселям нужен язык

Последнее время end-to-end генерация прямо в пространстве пикселей показывает конкурентные результаты без обученных токенизаторов изображений. Это упрощает конвейер: исчезает отдельный этап обучения автоэнкодера и связанные с ним потери информации. Но остаётся слабое место. Пиксельный лосс меряет расхождение между сгенерированной картинкой и эталоном по пикселям и сам не знает, какие детали семантически важны, а какие нет.

Авторы проверяют гипотезу: может ли языковая supervision дать более богатый обучающий сигнал, чем сравнение пикселей. Ответ они ищут не через очередной латентный токенизатор, а через отдельный энкодер, который используется только как источник лосса.

Как устроен LILIE

LILIE — это обратимое преобразование изображения. В названии есть слово Lossless: по признакам картинку теоретически можно восстановить целиком. Архитектурно это normalizing flow transformer.

Главный трюк в обучении. Энкодер тренируют совместно с vision-language моделью через предсказание следующего токена. VLM получает зашумлённые признаки и должна восстановить по ним подпись к изображению. Чтобы это получалось даже при шуме, признаки обязаны хранить смысловое содержание, а не только низкоуровневую текстуру.

После обучения энкодер превращают в лосс для text-to-image. Генеративную модель сравнивают с целью не только в пикселях, но и в пространстве признаков LILIE. Авторы называют этот лосс простым. Точная формула и вес слагаемых в аннотации не раскрыты.

Что показали эксперименты

Авторы обучали модели JiT с LILIE-лоссом и сравнивали их с вариантом, где использовался только пиксельный лосс.

• Метод: normalizing flow transformer, обучаемый совместно с VLM через next token prediction
• Задача: генерация изображений по тексту
• Генеративная модель: JiT
• Метрика gFD: 66,84 → 53,01 (−13,83 пункта, примерно −21%)
• Датасет: GPIC
• В открытом доступе: код, энкодеры, генеративные модели

Прирост заметный, но картина по аннотации неполная. Опубликован один результат на одном датасете и одной метрике. gFD оценивает близость распределений сгенерированных и реальных изображений и не гарантирует, что модель точнее следует промпту. Неизвестны размеры моделей, стоимость обучения с дополнительным лоссом и расклад против сильных латентных диффузионных моделей. Сравнение дано с пиксельным baseline, а не с лидерами рынка.

Что проверить на практике

Для тех, кто обучает собственные генеративные модели, интерес здесь прикладной. Раз код и энкодеры опубликованы, LILIE-лосс можно попробовать как дополнительное слагаемое к существующему пиксельному обучению, не меняя архитектуру самой генеративной модели.

Что стоит замерить в первую очередь:

• накладные расходы на обучение: энкодер нужно прогонять на каждом шаге, а это память и время;
• прирост на вашем датасете, а не только на GPIC, и не по одному gFD, а ещё и по метрикам соответствия тексту и по человеческой оценке;
• устойчивость эффекта при смене размера модели и длительности обучения.

Если выигрыш сохранится, подход даст пиксельным моделям способ получать семантический сигнал без возврата к токенизаторам. Если нет, это будет полезный результат о границах языковой supervision. Ответ покажут независимые воспроизведения.