Два брата обучили text-to-image модель за $20 тысяч и выложили веса под Apache 2.0

Обычно разговоры про собственную генеративную модель заканчиваются на слове «бюджет». Два брата из лаборатории Linum решили проверить, сколько на самом деле стоит приличная text-to-image модель. Ответ: около 20 тысяч долларов. Веса они выложили под Apache 2.0, а исследование опубликовали на сайте.

Что они сделали

Стандарт индустрии — латентная диффузия. Сначала VAE сжимает картинку в компактное латентное пространство, потом диффузионная модель учится генерировать уже в нём. Получается два этапа обучения, две модели и две точки, где можно ошибиться.

Linum выкинули VAE. Диффузионная модель работает прямо в пикселях и сама выучивает представление, оптимальное под её задачу. Архитектура называется Pyramid-JiT. Модель обучали примерно месяц как более длинный эксперимент: ~$20K и 660 млн образцов.

Почему это важно

Авторы называют три выигрыша. Во-первых, проще архитектура: не нужно обучать два компонента по очереди. Во-вторых, сходимость, по их данным, в 11 раз быстрее, чем у латентного аналога. В-третьих, дешевле инференс: контекст внимания можно сокращать в 4 раза агрессивнее, и заметного падения качества нет.

Представьте стартап, который делает генерацию иллюстраций для маркетинга. Раньше собственная модель была роскошью: аренда кластера, команда исследователей, месяцы работы. Теперь есть публичный рецепт, который укладывается в цену одного небольшого раунда экспериментов. Это не замена Midjourney, но уже достаточная основа для узкой специализированной модели.

За этим стоит и более амбициозная цель. Linum строят видеомодели, а почти все видеомодели начинаются как картинечные. Сами авторы шутят, что модели сначала учат существительные, а потом глаголы. Если картинки получаются дешёвыми, дешевле станет и видео, а именно скорость и цена мешают сейчас использовать видео для итеративной творческой работы.

Ограничения

Сразу оговорки. Это Show HN-проект от крошечной команды, а не независимый бенчмарк. Авторы сами пишут о «приличном» качестве и удивлении результатом, сравнительных таблиц с лидерами рынка в посте нет. Цифры про 11-кратное ускорение и 4-кратное сокращение токенов относятся к их собственным сравнениям с их же латентным вариантом, так что переносить их на любые другие задачи не стоит. Сумма в $20K тоже включает только финальный прогон: расходы на предыдущие эксперименты и подбор архитектуры в неё, судя по описанию, не входят.

Обсуждение на Hacker News пока скромное: около 110 очков и 11 комментариев. Громкого консенсуса нет, поэтому правильнее считать это интересным сигналом, а не доказанным прорывом.

Что с этим делать

Если вы строите продукт на генерации изображений, скачайте веса и прогоните на своих промптах: лицензия Apache 2.0 позволяет использовать их в коммерции без оговорок. Если вы исследователь или ML-инженер, почитайте работу про Pyramid-JiT и подумайте, нужен ли вам VAE в следующем проекте. А если вы продакт, запомните главное: порог входа в собственные генеративные модели снова снизился, и аргумент «это слишком дорого» работает всё хуже.