Vimoo открыла веса видеогенератора на 11,7 млрд параметров: 5 секунд 720p

Рынок открытых видеогенераторов пополнился ещё одним игроком, и на этот раз интересна не столько сама модель, сколько способ её сборки. Компания Vimoo выложила веса семейства Vimoo 1.0 для генерации видео по тексту (T2V) и по изображению (I2V). Обучать всё с нуля она не стала. Вместо этого собрала гибрид из готовых открытых блоков вокруг собственного ядра.

Что внутри

Ядро — двухпоточный диффузионный трансформер (Dual-Stream MMDiT) на 11,7 млрд параметров. «Двухпоточный» значит, что текстовые и визуальные токены идут по отдельным веткам и взаимодействуют через внимание. Похожую схему используют многие современные генераторы изображений.

Вокруг ядра стоят чужие компоненты:

• Видео-VAE из Wan 2.2 со сжатием 4×16×16 и 48 латентными каналами. Он превращает кадры в компактное латентное представление, с которым работает трансформер.
• Qwen2.5-VL-7B отвечает за смысл промпта: что в сцене, кто что делает.
• Glyph-ByT5-v2 — посимвольный энкодер для типографики. Его задача в том, чтобы вывеска или заголовок в кадре не превращались в кашу из псевдобукв.
• Google SigLIP в режиме I2V держит детали референсного кадра, чтобы герой не менялся на третьей секунде.

Базовая генерация даёт 5 секунд: 121 кадр при 24 FPS в разрешении 720p. Для 1080p есть отдельная генеративная модель-реставратор Vimoo Enhancer. Она не просто растягивает картинку, а дорисовывает детали.

Как это выглядит на практике

Представьте, что вы делаете рекламный ролик для кофейни. Вам нужна сцена, где бариста ставит чашку на стойку, а на стекле позади читается название заведения. С типичным открытым генератором текст на стекле почти наверняка поплывёт. Здесь за это отвечает отдельный энкодер, так что у модели есть шанс справиться лучше. Насколько лучше, пока непонятно, потому что независимых сравнений в посте нет.

В I2V-режиме вы даёте кадр с фирменной кружкой, и SigLIP помогает сохранить её вид по ходу движения. Затем 720p-черновик можно прогнать через Enhancer и получить 1080p.

Главная польза подхода в том, что каждый блок можно заменить или обновить отдельно. Вышел энкодер получше — меняете его, не переобучая всё с нуля. Для команд, которые строят свои видеопайплайны, это хороший шаблон архитектуры.

Ограничения и что с этим делать

Сначала о том, чего мы не знаем. В посте нет бенчмарков, примеров генераций и сравнения с Wan 2.2, на чьём VAE модель частично построена. Нет данных о требованиях к видеопамяти и скорости инференса. Лицензию на веса тоже нужно проверять отдельно, прежде чем тащить модель в коммерческий продукт. Пять секунд видео — это короткий клип, а не сцена. Для длинных роликов придётся склеивать фрагменты и следить за согласованностью героев.

Что делать разработчику и продакту:

• Скачайте веса с Hugging Face и прогоните свои 10–20 типичных промптов, особенно с текстом в кадре. Это единственный честный способ проверить заявленное.
• Сравните результат с Wan 2.2 на тех же запросах. Если разница небольшая, смысла менять стек нет.
• Прочитайте технический отчёт и лицензию до любых планов на продакшн.
• Если строите собственный генератор, посмотрите на модульную сборку как на способ сэкономить месяцы обучения.

Вывод простой. Это не прорыв, а аккуратная инженерная сборка из хороших открытых деталей. Она интересна как рабочий пример и как ещё один вариант для самостоятельного хостинга. Станет ли Vimoo 1.0 чем-то большим, покажут только тесты на реальных задачах.