FilmFlow: четыре агента строят траектории камеры в 3D по тексту и видео

Команда авторов FilmFlow предложила агентный фреймворк, который переводит режиссёрскую задачу в явную траекторию камеры для динамической 3D-среды. Вход может быть любым: фраза на естественном языке или референсное видео. На выходе получается исполняемый план движения камеры, который можно отрендерить. Внутри работают четыре агента, а проверяли систему на новом бенчмарке CinemaBench: 150 сцен Blender, 750 текстовых задач и 60 референсных видео. По итогам сравнения с набором базовых методов FilmFlow показал лучший результат и получил самую высокую оценку в пользовательских предпочтениях.

Четыре роли вместо одной модели

Главная идея работы в том, что задачу не пытаются решить одним запросом к одной модели. Вместо этого кинематографическую работу разложили на роли, как на съёмочной площадке.

Director отвечает за результат: он собирает исполняемый план камеры. Ему помогают три специалиста. Interpreter вытаскивает из инструкции или референса режиссёрский замысел и привязывает его к конкретной сцене: что в кадре главное, куда смотреть, какой ритм нужен. Scout выбирает начальную точку обзора. Критик, он же Critic, оценивает отрендеренный результат и возвращает визуальную обратную связь, после чего Director правит план.

Последний пункт важнее остальных. Траектория камеры легко выглядит разумной в виде чисел и при этом ломает кадр: объект уходит за край, камера проходит сквозь геометрию, движение не попадает в нужный момент. Цикл «план — рендер — критика — правка» ловит такие ошибки на картинке, а не на бумаге.

Камера как композиция атомарных операций

Director не выдаёт траекторию одним куском. Он собирает сложные движения из параллельных атомарных операций, которые одновременно управляют тремя вещами: перемещением, поворотом и кадрированием. Например, облёт вокруг персонажа с постепенным сближением и смещением объекта в кадре раскладывается на несколько простых операций, идущих синхронно.

Такой подход даёт явную, читаемую структуру. План можно просмотреть, поправить руками или частично переиспользовать. Для задач, где нужна пространственная логика (где находятся объекты, как они движутся во времени, как держать композицию), это заметно удобнее, чем неявная генерация траектории нейросетью.

CinemaBench: 750 задач и 60 референсов

Отдельная часть работы — бенчмарк. Авторы собрали 150 сцен Blender из собственных и лицензированных источников. На каждую приходится по пять камерных инструкций, всего 750 текстовых задач. К части сцен добавлено 60 референсных видео, по которым нужно воспроизвести характер движения камеры.

CinemaBench проверяет два режима: генерацию по тексту и генерацию по видеореференсу. Раньше для такой оценки приходилось собирать наборы самостоятельно или полагаться на общие метрики качества видео, которые камерную работу почти не различают.

Ключевые параметры работы:

• Входы: текстовая инструкция или референсное видео
• Выход: явная траектория камеры в динамической 3D-сцене
• Агенты: Director, Interpreter, Scout, Critic
• Управляемые параметры: перемещение, поворот, кадрирование
• Бенчмарк: 150 сцен Blender, 750 текстовых задач, 60 референсных видео
• Результат: лучшие показатели среди оцениваемых базовых методов и самая высокая пользовательская оценка

Где это пригодится на практике

Ближайшие потребители подхода — те, кому нужна камера в трёхмерной сцене, но нет оператора или времени на ручную расстановку ключевых кадров. Это превизуализация в кино и рекламе, анимационные студии, игровые катсцены, архитектурные визуализации. Если текстовую фразу вроде «медленный наезд на героя с лёгким уходом вправо» можно превратить в траекторию, которая проходит критику по рендеру, черновая работа ускоряется.

Для разработчиков агентных систем полезен и сам паттерн. Разделение на интерпретатора, исполнителя, разведчика и критика с обратной связью по визуальному результату переносится на другие задачи, где итог нужно не только сгенерировать, но и увидеть: расстановка света, монтаж, генерация сцен.

Исследователям пригодится CinemaBench. У сообщества появляется общий набор для сравнения методов по тексту и по референсам, причём в формате Blender, то есть с воспроизводимым рендером. Теперь важно, насколько хорошо подход переживёт сцены вне бенчмарка и насколько дорого обойдётся итеративный цикл с рендером в реальных пайплайнах. Именно там станет ясно, превратится ли FilmFlow из исследовательского прототипа в рабочий инструмент.