Tencent открыла Hy-Nomas: видеомир с памятью в 720p идёт на одной RTX 4090

Обычные видеомодели похожи на камеру с короткой памятью: сгенерировали ролик, а дальше каждый новый кусок рискует жить своей жизнью. Комната, которую вы только что видели, через десять секунд выглядит иначе. Tencent выложила в открытый доступ Hy-Nomas — «модель мира», которая строит виртуальное пространство по кускам-сегментам и учитывает уже показанное. Пример: вы идёте по сгенерированной улице, пишете «пусть пойдёт дождь» и разворачиваете камеру назад — улица должна остаться той же, только мокрой. Память держится на KV-cache (кэше внутренних состояний трансформера), картинка выходит в 720p при 24 кадрах в секунду, а запустить модель можно на одной видеокарте RTX 4090 с 24 ГБ памяти. Для разработчика это шанс потрогать такую модель локально, без кластера, но с оговорками, о которых ниже.

Что умеет Hy-Nomas

Модель генерирует мир сегмент за сегментом. Пользователь меняет происходящее текстовыми командами, управляет движением камеры и продолжает генерацию с учётом предыдущих сцен. Чтобы не терять нить между кусками видео, Hy-Nomas сохраняет контекст в KV-cache: модели не нужно каждый раз заново «перечитывать» всю историю. При этом активная история ограничена, так что помнит модель не бесконечно.

На выходе — видео 720p с частотой 24 кадра в секунду, а на генерацию уходит 8 шагов диффузии. Это сравнительно мало: подход нацелен на практичность, а не на максимальное качество любой ценой.

Что под капотом и как запустить

Архитектура — сегментно-авторегрессионный MMDiT с 54 блоками. Текст понимает энкодер Qwen2.5-VL-7B. Для сжатия видео служит DCAE-V, для декодирования — PixelUMM. Среди готовых вариантов есть LoRA-адаптеры (небольшие дообученные надстройки) Cinematic и Robotics. Второй, в том числе, адаптирован на видеоданных роботизированных манипуляторов, так что модель можно пробовать не только для красивых сцен, но и для симуляции того, как рука робота обращается с предметами.

Для тех, у кого нет серверной фермы, Tencent предусмотрела запуск на одной RTX 4090 с 24 ГБ видеопамяти. Для этого используются квантизация INT8/FP8, ограничение активной истории и выгрузка части данных на CPU. Но это не означает генерацию в реальном времени: официальную скорость на RTX 4090 Tencent не озвучила, поэтому игрового отклика ждать не стоит — сегмент придётся дожидаться.

Есть и второе ограничение: это видео. Экспорта в 3D нет, то есть сцену не получится загрузить в игровой движок и свободно ходить по ней. Вы получаете последовательность кадров, которая выглядит как мир.

Лицензия и экосистема

Проект выпущен под Apache 2.0, что допускает и коммерческое использование. Однако у отдельных сторонних компонентов могут быть собственные лицензии, поэтому перед продакшном стоит проверить всю цепочку, включая энкодер и декодеры.

Сила открытого релиза уже видна: появились сторонние интеграции для ComfyUI, SGLang, WanGP и Reactor, а также первые экспериментальные приложения. Вчера Tencent добавила в список сторонних проектов Prelulu: его авторы показывают интерактивные мини-драмы с диалогами и альтернативными вариантами развития истории. Это неплохой ориентир того, куда ведут такие модели: не к «игре мечты», а к интерактивному видео, где зритель влияет на сюжет.

Что с этим делать

Если вы делаете креативные инструменты или игровые прототипы, Hy-Nomas стоит поставить и попробовать: демо, код и веса уже доступны, а узел для ComfyUI встраивает модель в привычный пайплайн. Робототехникам любопытен адаптер Robotics как способ получать синтетические видео манипуляций. Продактам стоит прикинуть, выдержит ли пользователь ожидание генерации в сценариях вроде интерактивных историй и обучающих симуляций.

Ждать от релиза готовой замены игровому движку не надо: нет 3D, нет подтверждённого реального времени, память ограничена. Но как открытая основа для экспериментов с мирами, которые помнят собственную историю, это один из самых доступных вариантов на сегодня.