Fluid-Gen-Zero отдаёт физику воды симулятору и снижает ошибку потока на 84%

Исследователи опубликовали на arXiv Fluid-Gen-Zero, фреймворк для генерации видео, в котором объекты взаимодействуют с жидкостью. Он обходится без дообучения. На трёх бэкбонах (Tora на базе CogVideoX, VACE и WanMove на базе Wan) ошибка траектории объектов снижается на 26,7–81,5%, а ошибка потока жидкости fEPE (fluid flow endpoint error) — на 67,9–84,0%. Визуальное качество при этом в основном сохраняется.

Проблема знакома каждому, кто просил видеомодель показать, как шар падает в воду. Картинка выходит убедительной, но брызги, волны и траектория шара живут каждая по своим законам. Модель учится на пикселях и физику только имитирует. Авторы разделили задачи: движение считает физический симулятор, а внешний вид по-прежнему рисует предобученный генератор.

Два уровня агентного пайплайна

Связывает эти два мира агентный воркфлоу из двух ступеней. Первая называется generation-time planning. Агент на базе vision-language модели читает замысел пользователя и результат прогона симуляции, а затем раскладывает генерацию на клипы. Вторая ступень, latent-space guidance, работает глубже. Сигналы симуляции вводятся в процесс денойзинга через region-aware latent wrapping, то есть латентные представления подстраиваются под симулированное движение в нужных областях кадра.

Веса видеомодели остаются нетронутыми. Авторы описывают схему как plug-and-play и заявляют совместимость с современными видео-foundation-моделями. Ключевая ставка в том, что физику не нужно «вшивать» в нейросеть дорогим обучением, если её можно получить от симулятора и подсунуть модели как подсказку.

Для проверки команда собрала собственный бенчмарк по генерации видео с взаимодействием жидкости и объектов.

Что показали измерения

• Ошибка траектории объектов: снижение на 26,7–81,5% в зависимости от бэкбона.
• Ошибка потока жидкости fEPE: снижение на 67,9–84,0%.
• Сравнение с той же моделью без метода: в человеческом опросе выбирают Fluid-Gen-Zero в 55,1–74,4% случаев на трёх бэкбонах.
• Сравнение с методами на основе симуляции: предпочтение в 90,4–94,2% случаев.
• Перцептивное качество: сохраняется «в значительной степени», то есть небольшие потери возможны.

Разброс в цифрах широкий. Нижняя граница прироста по траектории (26,7%) заметно скромнее верхней, а 55,1% предпочтений на одном из бэкбонов лишь немного выше случайного выбора. Сильнее всего метод выигрывает у чисто симуляционных конкурентов: те дают корректную физику, но внешний вид уступает видеогенераторам.

Оговорки очевидны. Это препринт без рецензии, бенчмарк авторский, код и данные обещают выложить после принятия статьи. О стоимости вычислений и времени генерации в аннотации ничего не сказано. Остаётся и вопрос, насколько метод зависит от точности сцены, заданной в симуляторе.

Где это пригодится

Ближайшие потребители подхода — студии визуальных эффектов и рекламные команды, которым нужна правдоподобная вода без ручной сборки сцены в симуляторе и без рендера с нуля. Вторая ниша — синтетические данные для робототехники и world models, где корректное поведение жидкости критично. Для продуктовых команд важнее другое: схема работает поверх уже используемых моделей, так что не нужно переучивать стек.

Стоит дождаться кода и проверить три вещи: поведение на сложных сценах с несколькими объектами, затраты на связку симулятора с VLM-агентом и устойчивость на моделях, которых нет в списке авторов. Если результаты воспроизведутся, физическое заземление через внешний симулятор станет недорогой альтернативой обучению физике внутри видеомодели.