OpenJutsu локально заменяет до четырёх персонажей в одном видео

Облачный видеоредактор удобен ровно до момента, когда в него приходится загружать исходники клиента, неопубликованный клип или запись с реальными людьми. OpenJutsu предлагает другой путь: заменить персонажей, одежду и предметы прямо на своей машине. Проект воспроизводит один из главных сценариев Higgsfield Genjutsu, но собирает его из открытых компонентов и запускает через ComfyUI.

Практический смысл здесь не только в бесплатном аналоге коммерческого сервиса. OpenJutsu показывает разработчикам готовую архитектуру современного ИИ-видеоредактора: одна модель анализирует сцену, другая отслеживает выбранный объект между кадрами, третья перерисовывает изображение, а граф обработки управляет всей последовательностью. Такой пример полезнее очередной демонстрации с красивым роликом: его можно разобрать, изменить и встроить в собственный продукт.

Как это работает на обычном примере

Представим музыкальный клип с четырьмя участниками. Пользователь загружает видео, назначает каждому человеку отдельную фотографию и запускает обработку. OpenJutsu должен сохранить исходные движения, жесты, работу камеры, монтаж и звуковую дорожку, одновременно перерисовав внешность выбранных людей. Речь идёт не только о подмене лица: система может менять причёску, телосложение и одежду целиком.

Тот же конвейер подходит для более узких правок. Можно переодеть героя, заменить реквизит, убрать предмет из кадра или изменить фон. После основного прохода отдельные инструменты исправляют плохо прорисованные лица и смягчают слишком жёсткую цветопередачу. Это важная деталь: генерация видео редко заканчивается одним нажатием кнопки, а OpenJutsu сразу предусматривает этап доводки результата.

Под капотом задачи разделены между несколькими компонентами. По описанию проекта, MiniMax H3 отвечает за перерисовку видео, SAM 3.1 отслеживает людей и объекты, Qwen3-VL разбирает содержание сцены, а ComfyUI связывает операции в единый граф. Для разработчика это удобная точка входа: каждый блок можно изучать и заменять отдельно, не переписывая весь интерфейс и конвейер.

Локальность не означает лёгкость

Главное преимущество OpenJutsu — возможность не отправлять исходные ролики на сервер коммерческого сервиса. Это снижает риск утечки закрытых материалов и даёт больше контроля над моделями, параметрами и результатами. Проект, по заявлению авторов, запускается на RTX 4060 Ti с 16 ГБ видеопамяти и компьютере с 64 ГБ оперативной памяти. Для небольшой студии или разработчика такая конфигурация достижима, но назвать её массовой пока трудно.

Есть и более заметное ограничение: обработка идёт медленно. Открытый проект следует воспринимать как рабочий прототип и основу для экспериментов, а не как гарантированную замену облачному продукту. Качество будет зависеть от исходного видео, перекрытий, движения камеры, освещения и доступной памяти. Заявленные возможности также стоит проверять на собственных материалах: публикация проекта и демонстрационные ролики ещё не доказывают стабильность во всех сценах.

Что с этим делать разработчику

OpenJutsu стоит изучить командам, которые строят видеоредакторы, инструменты для локализации рекламы, виртуальной примерки или производства контента. Репозиторий даёт не готовый бизнес, а понятную карту: сегментация и трекинг, анализ сцены, генеративная перерисовка, исправление дефектов и оркестрация. Можно взять весь конвейер для прототипа либо проверить только один компонент на своих данных.

Основателям проект напоминает о менее приятной вещи: интерфейс над чужими моделями защищает продукт слабее, чем собственные данные, скорость, качество результата и выстроенный рабочий процесс. Сообщество способно сравнительно быстро повторить заметную функцию, если её основу составляют доступные модели. Поэтому практический вывод простой: разработчикам стоит тестировать OpenJutsu как локальную лабораторию, а продуктовым командам — оценивать, какая часть их преимущества останется, когда базовый конвейер появится у всех.