Freefield: estúdio aberto com ComfyUI e 120 apps para imagens, vídeo e áudio

O Freefield é um estúdio de navegador para gerar imagens, vídeo, efeitos de VFX e música. Tudo fica reunido em uma única interface. Por baixo, roda o ComfyUI, editor popular em que o pipeline de rede neural é montado com blocos chamados "nós", além de modelos com pesos abertos. O estúdio pode ser executado na própria placa de vídeo ou na nuvem da Modal. O catálogo tem cerca de 120 apps e templates, e muitos deles compartilham os mesmos pipelines. O código está no GitHub, e há também um mapa separado de consumo de memória de vídeo.

Como funciona para o usuário

O esquema é simples. Você escolhe a ferramenta, envia uma referência e define os parâmetros. O estúdio executa por conta própria um workflow pronto, ou seja, uma cadeia de nós já configurada. Não é preciso montar o grafo manualmente.

Dois recursos merecem destaque:

• Use in… envia o resultado para a ferramenta seguinte. Uma imagem criada no gerador pode ir direto para o modelo de vídeo. • Histórico guarda o seed (número do qual depende a aleatoriedade da geração) e todas as configurações. Assim, é possível reproduzir um resultado bem-sucedido.

Qualquer workflow pode ser baixado e aberto em nós no ComfyUI. Se a interface simplificada não bastar, é possível passar para o controle completo.

Quais modelos estão incluídos

O catálogo é dividido por tarefa. Estes são os modelos e suas funções:

• FLUX 3 Klein, Z-Image, Qwen Image Edit — geração e edição de imagens, troca de iluminação (relight), trabalho com personagens e produtos. • LTX-2.5, Wan, MiniMax H3 — vídeo: geração, controle de câmera, lipsync (sincronização labial com a fala) e substituição de personagens. • Effects — seção separada com 24 efeitos em LoRA. LoRA é um pequeno complemento ao modelo que adiciona um determinado recurso visual. • MiniMax Music 3 e Stable Audio 3 — música e efeitos sonoros.

Uma única interface cobre quase todo o caminho, da referência ao vídeo com trilha sonora. Para um estúdio pequeno que produz publicidade ou conteúdo para produtos, isso é prático: não é preciso manter uma dezena de serviços diferentes.

Quanto pesa e em que hardware roda

A interface funciona no navegador. Para o backend local, é necessário um ambiente ComfyUI/PyTorch para a sua placa de vídeo. Parâmetros por modo:

• Create Image — resolução de 1–2K. • LTX Image to Video — vídeos de 2–10 segundos, a 24 quadros por segundo. • Effects — 480×832 ou 832×480, 16 quadros por segundo, 3 ou 5 segundos.

Para parte das tarefas, o autor tomou como referência uma RTX 3090 Ti com 24 GB de memória de vídeo. O pico de consumo de VRAM foi medido por ele nos exemplos publicados, em uma L40S com 48 GB:

• Create Image — 15,4 GB; • Cinema Studio Video — 44,3 GB.

O segundo valor não cabe em 24 GB sem medidas adicionais. O autor ressalva que as medições dependem das configurações e de como os modelos são descarregados da memória. O catálogo inteiro ainda não foi testado com 24 GB. O mínimo de memória RAM não é informado. Só vale comprar hardware para este projeto depois de consultar o mapa de VRAM.

Exemplo de velocidade: o efeito morph entregou o vídeo pronto 161 segundos após o início da execução. A medição foi feita pelo próprio autor em um backend com H100, e ainda não há verificação independente.

Os pesos são baixados em pacotes:

• FLUX 3 — 17,8 GB; • LTX-2 — 66 GB.

Não é necessário baixar o catálogo inteiro. Bastam os pacotes das ferramentas escolhidas.

Para quem é útil

O Freefield não cria modelos novos. Ele reúne modelos abertos já existentes em uma única camada, com cenários prontos. Quem sai ganhando é quem quer trabalhar localmente ou em GPU alugada e não depender de serviços fechados por assinatura. Além disso, a porta para o ComfyUI continua aberta: a interface simplificada não prende o usuário.

Há também limitações. Vídeo exige bastante memória de vídeo, e a compatibilidade total do catálogo com uma placa de 24 GB não foi confirmada. Quem quer rodar tudo em casa deve verificar antes, no mapa de VRAM, os modos de que precisa. A opção na nuvem pela Modal elimina o problema de hardware, mas, nesse caso, o custo é calculado pelo tempo de uso da GPU.