OpenJutsu substitui localmente ate quatro personagens em um unico video

O OpenJutsu reproduz localmente um dos principais fluxos do Higgsfield Genjutsu: recebe um video pronto e substitui pessoas, roupas ou objetos especificos, preservando movimentos, edicao e som. E possivel processar ate quatro personagens, mas a privacidade cobra seu preco em velocidade e requisitos de memoria. Para desenvolvedores, o projeto tambem e interessante como um modelo pronto de como montar um editor de video com modelos abertos.

Processado por IA de TG: @cgevent (Метаверсище и ИИще); editado por Hamidun News
OpenJutsu substitui localmente ate quatro personagens em um unico video
Fonte: TG: @cgevent (Метаверсище и ИИще). Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalTG: @cgevent (Метаверсище и ИИще) ↗
Editor-chefe
Dado-chave #1Funciona em uma RTX 4060 Ti com 16 GB de VRAM e 64 GB de RAM.
Dado-chave #2O MiniMax H3 renderiza os quadros, o SAM 3.1 rastreia os objetos e o ComfyUI conecta as etapas.
Dado-chave #3O codigo e aberto, mas a velocidade e a qualidade ainda nao se igualam as do produto em nuvem.

Um editor de video em nuvem e conveniente ate o momento em que e preciso enviar os arquivos originais de um cliente, um clipe ainda nao publicado ou uma gravacao com pessoas reais. O OpenJutsu oferece outro caminho: substituir personagens, roupas e objetos diretamente na propria maquina. O projeto reproduz um dos principais fluxos do Higgsfield Genjutsu, mas o monta com componentes abertos e o executa por meio do ComfyUI.

O valor pratico nao esta apenas em oferecer uma alternativa gratuita a um servico comercial. O OpenJutsu apresenta aos desenvolvedores uma arquitetura pronta para um editor de video moderno com IA: um modelo analisa a cena, outro rastreia o objeto selecionado entre os quadros, um terceiro redesenha a imagem e um grafo de processamento gerencia toda a sequencia. Um exemplo como esse e mais util do que mais uma demonstracao com um video bonito: ele pode ser desmontado, modificado e incorporado a um produto proprio.

Como funciona em um exemplo comum

Imagine um videoclipe com quatro participantes. O usuario envia o video, atribui uma fotografia diferente a cada pessoa e inicia o processamento. O OpenJutsu deve preservar os movimentos, gestos, trabalho de camera, edicao e trilha sonora originais, ao mesmo tempo que redesenha a aparencia das pessoas selecionadas. Nao se trata apenas de trocar rostos: o sistema pode alterar o penteado, o tipo fisico e todo o vestuario.

O mesmo pipeline tambem serve para alteracoes mais especificas. E possivel trocar a roupa de um personagem, substituir um adereco, remover um objeto do quadro ou mudar o fundo. Apos a etapa principal, ferramentas separadas corrigem rostos mal renderizados e suavizam uma colorizacao excessivamente dura. Esse e um detalhe importante: a geracao de video raramente termina com o clique de um unico botao, e o OpenJutsu ja inclui uma etapa de acabamento do resultado.

Nos bastidores, as tarefas sao divididas entre varios componentes. Segundo a descricao do projeto, o MiniMax H3 e responsavel por redesenhar o video, o SAM 3.1 rastreia pessoas e objetos, o Qwen3-VL interpreta o conteudo da cena e o ComfyUI conecta as operacoes em um unico grafo. Para o desenvolvedor, esse e um ponto de entrada conveniente: cada bloco pode ser estudado e substituido separadamente, sem a necessidade de reescrever toda a interface e o pipeline.

Local nao significa leve

A principal vantagem do OpenJutsu e a possibilidade de nao enviar os videos originais ao servidor de um servico comercial. Isso reduz o risco de vazamento de materiais confidenciais e oferece maior controle sobre modelos, parametros e resultados. Segundo os autores, o projeto roda em uma RTX 4060 Ti com 16 GB de VRAM e em um computador com 64 GB de RAM. Para um pequeno estudio ou desenvolvedor, essa configuracao e viavel, mas ainda e dificil chama-la de popular.

Ha tambem uma limitacao mais evidente: o processamento e lento. O projeto aberto deve ser visto como um prototipo funcional e uma base para experimentos, nao como um substituto garantido para o produto em nuvem. A qualidade dependera do video original, das oclusoes, do movimento da camera, da iluminacao e da memoria disponivel. Os recursos anunciados tambem devem ser testados em materiais proprios: a publicacao do projeto e os videos de demonstracao ainda nao comprovam estabilidade em todos os tipos de cena.

O que um desenvolvedor pode fazer com o projeto

Vale a pena estudar o OpenJutsu em equipes que desenvolvem editores de video, ferramentas para localizacao de publicidade, sistemas de prova virtual de roupas ou software para producao de conteudo. O repositorio nao oferece um negocio pronto, mas um mapa claro: segmentacao e rastreamento, analise de cenas, redesenho generativo, correcao de defeitos e orquestracao. E possivel adotar todo o pipeline em um prototipo ou testar apenas um componente com dados proprios.

Para fundadores, o projeto lembra uma realidade menos agradavel: uma interface baseada em modelos de terceiros protege menos um produto do que dados proprietarios, velocidade, qualidade dos resultados e um fluxo de trabalho bem estruturado. A comunidade consegue reproduzir com relativa rapidez um recurso de destaque quando ele se baseia em modelos acessiveis. Portanto, a conclusao pratica e simples: desenvolvedores devem testar o OpenJutsu como um laboratorio local, enquanto equipes de produto precisam avaliar quanto de sua vantagem permanecera quando o pipeline basico estiver disponivel para todos.

História

Perguntas frequentes sobre a notícia

Como funciona em um exemplo comum?

Imagine um videoclipe com quatro participantes. O usuario envia o video, atribui uma fotografia diferente a cada pessoa e inicia o processamento. O OpenJutsu deve preservar os movimentos, gestos, trabalho de camera, edicao e trilha sonora originais, ao mesmo tempo que redesenha a aparencia das pessoas selecionadas. Nao se trata apenas de trocar rostos: o sistema pode alterar o penteado, o tipo fisico e todo o vestuario. O mesmo pipeline tambem serve para alteracoes mais especificas.

O que se sabe sobre Local nao significa leve?

A principal vantagem do OpenJutsu e a possibilidade de nao enviar os videos originais ao servidor de um servico comercial. Isso reduz o risco de vazamento de materiais confidenciais e oferece maior controle sobre modelos, parametros e resultados. Segundo os autores, o projeto roda em uma RTX 4060 Ti com 16 GB de VRAM e em um computador com 64 GB de RAM. Para um pequeno estudio ou desenvolvedor, essa configuracao e viavel, mas ainda e dificil chama-la de popular.

O que um desenvolvedor pode fazer com o projeto?

Vale a pena estudar o OpenJutsu em equipes que desenvolvem editores de video, ferramentas para localizacao de publicidade, sistemas de prova virtual de roupas ou software para producao de conteudo. O repositorio nao oferece um negocio pronto, mas um mapa claro: segmentacao e rastreamento, analise de cenas, redesenho generativo, correcao de defeitos e orquestracao. E possivel adotar todo o pipeline em um prototipo ou testar apenas um componente com dados proprios.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…