Pika открыла веса видеомодели H3 Flex: 15 секунд со звуком за 6 шагов

Pika выложила в открытый доступ веса H3 Flex, дообученной версии видеомодели MiniMax H3, которая генерирует ролики со звуком всего за 6 шагов денойзинга вместо привычных 50. Видеомодель-диффузия строит кадры из шума: на каждом шаге она немного «очищает» картинку, и каждый такой шаг означает полный прогон тяжёлой нейросети. Если шагов 6, а не 50, проходов нужно примерно в восемь раз меньше. Отсюда и скорость: по документации, 5 секунд видео в разрешении 1344×768 готовятся примерно за минуту на одной видеокарте. Какая именно карта использовалась, не указано.

Что умеет модель

H3 Flex делает ролики длиной от 5 до 15 секунд при 24 кадрах в секунду. Поддерживаются 11 соотношений сторон, от широкого 21:9 до вертикального 9:21. Звук генерируется вместе с картинкой: 32 кГц, стерео, всё сразу в MP4 (видео H.264, аудио AAC), и дорожки склеивать не нужно. Длина промпта — до 8000 символов.

В репозитории две LoRA, то есть компактные надстройки поверх базовой модели MiniMax H3:

• FL2VA принимает текст плюс первый и/или последний кадр и по ним выдаёт видео со звуком.
• Ref2VA работает с референсами: до 9 картинок, 3 видео и 3 аудиозаписей, но не больше 12 файлов суммарно. Каждое видео и аудио должно длиться 2–15 секунд, а суммарная длительность по каждому типу не выше 15 секунд.

У обеих LoRA rank и alpha равны 128, исходные веса в FP32. Для ComfyUI есть отдельные версии в BF16, по 1,9 ГБ каждая.

Сколько весит и что нужно для запуска дома

Полный комплект весов тяжёлый, около 210 ГБ:

• трансформер H3 — примерно 62 ГБ;
• текстовый энкодер Qwen3-VL 32B — ещё примерно 62 ГБ;
• видео-VAE (модуль, который кодирует и декодирует кадры) — около 10 ГБ;
• аудио-VAE — 0,6 ГБ.

Для домашней карты это слишком много, поэтому реальный путь идёт через ComfyUI. Там подтягивается прунёный int8-трансформер (из модели убрана часть весов, остальные сжаты до 8 бит), энкодер Qwen3-VL в формате NVFP4 и оба VAE.

Официальных требований к видеопамяти Pika не публиковала. По оценке автора разбора в Telegram-канале Neurogen, рабочий уровень — 24 ГБ VRAM. На 16 ГБ модель запустится с выгрузкой блоков в оперативную память, но медленно. На 12 ГБ всё совсем плохо. Оперативной памяти желательно 32 ГБ и больше, потому что ComfyUI подгружает и выгружает блоки по мере работы.

Для запуска нужна свежая версия ComfyUI. Шаблон текст-в-видео требует 0.43.2+, для Ref2VA и FL2VA указана версия 0.30.0+. Путь такой: Template Library → Video → video_pika_h3_flex_t2v.

Разрешение и цены в облаке

Нативно модель выдаёт только 480p и 768p. Варианты 1080p, 2K и 4K доступны только в облаке Pika, и это один проход апскейла с 768p, а не честная генерация в высоком разрешении. Если вам нужна настоящая 4K-детализация, ждать её от этого режима не стоит.

В API оплата идёт за секунду готового видео, и только за успешные генерации:

• 480p — $0.01;
• 768p — $0.02;
• 1080p — $0.035;
• 2K — $0.04;
• 4K — $0.08.

Режим с референсами дороже: $0.03, $0.06, $0.075, $0.08 и $0.10 для тех же разрешений по порядку. Для сравнения: 15 секунд в 768p в обычном режиме стоят $0.30.

Попробовать можно без установки: на карточке модели в Hugging Face есть бесплатный демо-спейс. Он работает на A10G, поэтому возможны очереди.

Что это значит на практике

Открытые веса видеомодели со встроенным звуком и мультиреференсами — редкость. Шесть шагов вместо пятидесяти делают локальную генерацию терпимой по времени, особенно на 24 ГБ. Но цифры скорости и требования к памяти пока приблизительные: Pika не назвала карту для замера, а оценки по VRAM принадлежат автору разбора, а не компании. Качество в сравнении с полноценными 50 шагами в источнике не измерялось, так что перед внедрением в продакшен модель стоит прогнать на своих задачах. Хорошая новость для студий и энтузиастов в том, что тестировать можно по API, за копейки, или в ComfyUI на своём железе.