FusionCow выложил Sulphur-3: файнтюн MiniMax H3 для видео со звуком от 11,4 ГБ

Открытые видеомодели годами страдают от одной и той же неудобной схемы: картинку генерирует одна нейросеть, звук подбирает другая, а потом всё это склеивается вручную и расходится по таймингу. Поэтому любой релиз на базе модели, которая выдаёт видео и звук за один проход, заслуживает внимания. Именно такой релиз сделал FusionCow: третья версия его файнтюна Sulphur построена на MiniMax H3.

Что именно выложили

Sulphur-2 был известен как вариант для генерации видео без встроенной цензуры. В третьей версии автор сменил основу на MiniMax H3, которая создаёт ролик сразу со звуком. Основные веса доступны в трёх форматах: BF16 на 40,2 ГБ, INT8 на 20,9 ГБ и W4A8 на 11,4 ГБ. Это стандартная лестница квантизации: чем меньше файл, тем ниже требования к памяти и тем выше риск потерять в качестве.

Отдельно есть вариант Ref2VA с поддержкой картинок-референсов. Проще говоря, вы подаёте фото или рисунок персонажа, и модель старается сохранить его внешность по всему ролику. Для видеогенерации это одна из самых болезненных задач: без референса лицо и одежда «плывут» от кадра к кадру. Ref2VA выложен в BF16 и INT8, последний весит 22,1 ГБ.

Кроме того, автор опубликовал LoRA на 2,4 ГБ, извлечённую из Sulphur-3. Её удобно пробовать, если не хочется качать полную модель и вы хотите навесить изменения на уже имеющуюся базу H3.

Запуск и железо

В репозитории лежит архив S3_ComfyUI.zip, а вариант с референсами запускается через специальную ноду Ref2VA. Важная оговорка: энкодер и video/audio VAE от H3 нужно скачать отдельно. Значит, реальный объём на диске будет больше суммы файлов из списка выше. Если планируете развернуть всё на своей машине или арендованном сервере, закладывайте запас.

Из цифр есть один пользовательский тест. INT8-вариант Ref2VA на карте с 32 ГБ VRAM сгенерировал 124 кадра в разрешении 672×384 примерно за 50 секунд при 20 шагах и без корректора. Какая именно видеокарта использовалась, автор теста не указал, так что это ориентир для одной конфигурации, а не бенчмарк. Разрешение при этом скромное: для превью и черновиков хватит, для финального продакшена нужен апскейл.

Ограничения и практический вывод

Первое ограничение: доступ к файлам на Hugging Face пока выдаётся по заявке с ручным одобрением, и дату открытия для всех автор не назвал. Второе: это сторонний файнтюн без цензуры. Если вы делаете продукт для публики, вам придётся самим отвечать за модерацию входов и выходов, возрастные ограничения и юридические риски вокруг сгенерированного контента, включая лица реальных людей при работе с референсами.

Что с этим делать практикующим командам. Во-первых, считайте релиз сигналом: связка «видео плюс звук в одной модели» вместе с открытыми весами уже доехала до комьюнити-файнтюнов, а значит, скоро появятся и более нейтральные варианты. Во-вторых, если вы тестируете H3 в ComfyUI, посмотрите на W4A8 и INT8 как на способ уместить модель в 12–24 ГБ памяти, но проверяйте качество звука и лиц на своих сценариях. В-третьих, для задач с постоянным героем присмотритесь к подходу Ref2VA: идея референса пригодится и в рекламных, и в игровых пайплайнах.

Итог: релиз интересен прежде всего технически, как пример свежей открытой основы со звуком и референсами. Но до открытого доступа и независимых замеров рассматривайте его как эксперимент, а не как готовый инструмент для продакшена.