Freefield : un studio ouvert basé sur ComfyUI, avec 120 applications pour l'image, la vidéo et le son

Freefield est un studio web de génération d'images, de vidéos, d'effets VFX et de musique. Tout est réuni dans une seule interface. Il fonctionne avec ComfyUI, un éditeur populaire où l'on assemble un pipeline neuronal à partir de blocs appelés « nœuds », et avec des modèles à poids ouverts. Le studio peut tourner sur votre propre carte graphique ou dans le cloud Modal. Le catalogue compte environ 120 applications et modèles, dont beaucoup partagent les mêmes pipelines. Le code est disponible sur GitHub, avec également une carte distincte de la consommation de mémoire vidéo.

Comment ça marche pour l'utilisateur

Le principe est simple. On choisit un outil, on charge une référence, on règle les paramètres. Le studio lance lui-même un workflow prêt à l'emploi, c'est-à-dire une chaîne de nœuds préconfigurée. Inutile d'assembler le graphe à la main.

Deux fonctions se distinguent :

• Use in… transmet le résultat à l'outil suivant. Une image issue du générateur peut être envoyée directement vers un modèle vidéo. • L'historique conserve le seed (le nombre dont dépend l'aléatoire de la génération) et tous les réglages. Un bon résultat peut ainsi être reproduit.

Tout workflow peut être téléchargé et ouvert sous forme de nœuds dans ComfyUI. Si l'interface simplifiée ne suffit pas, on peut passer au contrôle complet.

Quels modèles sont inclus

Le catalogue est organisé par tâche. Voici les modèles et leur rôle :

• FLUX 3 Klein, Z-Image, Qwen Image Edit — génération et retouche d'images, changement d'éclairage (relight), travail sur les personnages et les produits. • LTX-2.5, Wan, MiniMax H3 — vidéo : génération, contrôle de la caméra, lipsync (synchronisation des lèvres avec la parole) et remplacement de personnages. • Effects — une section dédiée avec 24 effets LoRA. Une LoRA est une petite couche d'adaptation ajoutée à un modèle pour lui apporter un effet visuel précis. • MiniMax Music 3 et Stable Audio 3 — musique et effets sonores.

Une seule interface couvre presque toute la chaîne, de la référence au clip avec bande-son. Pour un petit studio qui produit de la publicité ou du contenu produit, c'est pratique : inutile de jongler avec une dizaine de services différents.

Poids des modèles et matériel requis

L'interface fonctionne dans le navigateur. Pour un backend local, il faut un environnement ComfyUI/PyTorch adapté à sa carte graphique. Paramètres par mode :

• Create Image — résolution de 1 à 2K. • LTX Image to Video — clips de 2 à 10 secondes, 24 images par seconde. • Effects — 480×832 ou 832×480, 16 images par seconde, 3 ou 5 secondes.

Pour une partie des tâches, l'auteur a pris pour référence une RTX 3090 Ti avec 24 Go de mémoire vidéo. Il a mesuré le pic de consommation de VRAM sur les exemples publiés, avec un L40S de 48 Go :

• Create Image — 15,4 Go ; • Cinema Studio Video — 44,3 Go.

Le second chiffre ne tient pas dans 24 Go sans mesures supplémentaires. L'auteur précise que les mesures dépendent des réglages et de la manière dont les modèles sont déchargés de la mémoire. L'ensemble du catalogue n'a pas encore été testé sur 24 Go. Le minimum de mémoire vive n'est pas indiqué. N'achetez du matériel pour ce projet qu'après avoir consulté la carte de VRAM.

Exemple de vitesse : l'effet morph a produit une vidéo finie en 161 secondes après le lancement. La mesure a été réalisée par l'auteur lui-même sur un backend H100 ; il n'existe pas encore de vérification indépendante.

Les poids se téléchargent par paquets :

• FLUX 3 — 17,8 Go ; • LTX-2 — 66 Go.

Il n'est pas nécessaire de télécharger tout le catalogue. Les paquets correspondant aux outils choisis suffisent.

À qui s'adresse Freefield

Freefield ne crée pas de nouveaux modèles. Il rassemble des modèles ouverts existants dans une même interface, avec des scénarios prêts à l'emploi. Il profite à ceux qui veulent travailler en local ou sur un GPU loué et ne pas dépendre de services fermés par abonnement. Le passage vers ComfyUI reste en outre possible : l'interface simplifiée n'enferme pas l'utilisateur.

Il y a aussi des limites. La vidéo exige une mémoire vidéo importante, et la compatibilité complète du catalogue avec une carte de 24 Go n'est pas confirmée. Celui qui veut tout exécuter sur une machine personnelle doit vérifier à l'avance les modes dont il a besoin sur la carte de VRAM. L'option cloud via Modal supprime la contrainte matérielle, mais les coûts sont alors calculés selon la durée d'utilisation du GPU.