Freefield: un estudio abierto sobre ComfyUI con 120 aplicaciones para imagen, vídeo y audio

Freefield es un estudio en el navegador para generar imágenes, vídeo, efectos VFX y música. Todo está reunido en una sola interfaz. Por debajo funciona ComfyUI, un editor popular en el que el pipeline de redes neuronales se monta con bloques o «nodos», junto con modelos de pesos abiertos. El estudio se puede ejecutar en la tarjeta gráfica propia o en la nube de Modal. El catálogo incluye unas 120 aplicaciones y plantillas, y muchas de ellas comparten pipelines. El código está en GitHub, y también hay un mapa aparte del consumo de memoria de vídeo.

Cómo funciona para el usuario

El esquema es sencillo. Eliges una herramienta, subes una referencia y ajustas los parámetros. El estudio lanza por sí solo un workflow ya preparado, es decir, una cadena de nodos configurada de antemano. No hace falta montar el grafo a mano.

Hay dos funciones que destacan:

• Use in… pasa el resultado a la siguiente herramienta. Una imagen del generador se puede enviar directamente a un modelo de vídeo. • El historial guarda el seed (el número del que depende la aleatoriedad de la generación) y todos los ajustes. Un buen resultado se puede reproducir.

Cualquier workflow se puede descargar y abrir como nodos en ComfyUI. Si la interfaz simplificada se queda corta, se puede pasar al control completo.

Qué modelos incluye

El catálogo está dividido por tareas. Estos son los modelos y sus funciones:

• FLUX 3 Klein, Z-Image, Qwen Image Edit: generación y edición de imágenes, cambio de iluminación (relight) y trabajo con personajes y productos. • LTX-2.5, Wan, MiniMax H3: vídeo, con generación, control de cámara, lipsync (sincronización de labios con el habla) y sustitución de personajes. • Effects: sección aparte con 24 efectos LoRA. Una LoRA es un pequeño complemento sobre el modelo que añade un recurso visual concreto. • MiniMax Music 3 y Stable Audio 3: música y efectos de sonido.

Una sola interfaz cubre casi todo el camino, desde la referencia hasta un clip con banda sonora. Para un estudio pequeño que hace publicidad o contenido para productos, resulta cómodo: no hace falta mantener una decena de servicios distintos.

Cuánto pesa y en qué hardware funciona

La interfaz funciona en el navegador. Para un backend local se necesita un entorno ComfyUI/PyTorch adaptado a la tarjeta gráfica. Parámetros por modo:

• Create Image: resolución de 1–2K. • LTX Image to Video: clips de 2–10 segundos a 24 fotogramas por segundo. • Effects: 480×832 u 832×480, 16 fotogramas por segundo, 3 o 5 segundos.

Para parte de las tareas, el autor tomó como referencia una RTX 3090 Ti con 24 GB de memoria de vídeo. Midió el consumo máximo de VRAM en los ejemplos publicados, sobre una L40S de 48 GB:

• Create Image: 15,4 GB; • Cinema Studio Video: 44,3 GB.

La segunda cifra no cabe en 24 GB sin medidas adicionales. El autor advierte de que las mediciones dependen de los ajustes y de cómo se descargan los modelos de la memoria. Todavía no se ha comprobado que todo el catálogo funcione con 24 GB. No se indica el mínimo de memoria RAM. Conviene comprar hardware para este proyecto solo después de revisar el mapa de VRAM.

Un ejemplo de velocidad: el efecto morph generó el vídeo terminado en 161 segundos desde el lanzamiento. La medición la hizo el propio autor en un backend con H100 y por ahora no hay verificación independiente.

Los pesos se descargan por paquetes:

• FLUX 3: 17,8 GB; • LTX-2: 66 GB.

No hace falta descargar todo el catálogo. Basta con los paquetes que requieren las herramientas elegidas.

A quién le sirve

Freefield no crea modelos nuevos. Reúne modelos abiertos existentes en una única capa con escenarios ya preparados. Salen ganando quienes quieren trabajar en local o en una GPU alquilada y no depender de servicios cerrados de pago por suscripción. Además se conserva la salida hacia ComfyUI: la interfaz simplificada no deja al usuario encerrado.

También hay limitaciones. Para vídeo se necesita bastante memoria de vídeo, y no está confirmado que el catálogo completo sea compatible con una tarjeta de 24 GB. Quien quiera ejecutarlo todo en un equipo doméstico debe comprobar de antemano los modos que necesita en el mapa de VRAM. La opción en la nube con Modal elimina el problema del hardware, pero entonces el coste se calcula según el tiempo de uso de la GPU.