FilmFlow : quatre agents construisent des trajectoires de caméra 3D à partir d'un texte ou d'une vidéo

Les auteurs de FilmFlow proposent un framework agentique qui convertit une consigne de réalisation en trajectoire de caméra explicite pour un environnement 3D dynamique. L'entrée peut être au choix une phrase en langage naturel ou une vidéo de référence. En sortie, le système produit un plan de mouvement de caméra exécutable, que l'on peut rendre. Quatre agents travaillent en interne, et le système a été testé sur un nouveau benchmark, CinemaBench : 150 scènes Blender, 750 tâches textuelles et 60 vidéos de référence. Comparé à un ensemble de méthodes de base, FilmFlow obtient le meilleur résultat et la note la plus élevée dans les préférences des utilisateurs.

Quatre rôles au lieu d'un seul modèle

L'idée centrale du travail : ne pas résoudre la tâche en une seule requête à un seul modèle. Les auteurs ont plutôt découpé le travail cinématographique en rôles, comme sur un plateau de tournage.

Director est responsable du résultat : il assemble le plan de caméra exécutable. Trois spécialistes l'assistent. Interpreter extrait de la consigne ou de la référence l'intention du réalisateur et la rattache à la scène concrète : ce qui compte dans le cadre, où regarder, quel rythme adopter. Scout choisit le point de vue initial. Le critique, Critic, évalue le résultat rendu et renvoie un retour visuel, après quoi Director corrige le plan.

Ce dernier point est le plus important. Une trajectoire de caméra peut sembler cohérente sous forme de chiffres et pourtant gâcher le plan : l'objet sort du cadre, la caméra traverse la géométrie, le mouvement tombe à côté du bon moment. La boucle « plan — rendu — critique — correction » détecte ces erreurs sur l'image plutôt que sur le papier.

La caméra comme composition d'opérations atomiques

Director ne produit pas la trajectoire d'un seul bloc. Il compose les mouvements complexes à partir d'opérations atomiques parallèles, qui pilotent simultanément trois paramètres : le déplacement, la rotation et le cadrage. Par exemple, un tour autour d'un personnage avec rapprochement progressif et décalage de l'objet dans le cadre se décompose en plusieurs opérations simples exécutées de façon synchrone.

Cette approche donne une structure explicite et lisible. Le plan peut être relu, corrigé à la main ou en partie réutilisé. Pour les tâches qui exigent une logique spatiale (où se trouvent les objets, comment ils bougent dans le temps, comment tenir la composition), c'est nettement plus pratique qu'une génération implicite de trajectoire par un réseau de neurones.

CinemaBench : 750 tâches et 60 références

Le benchmark constitue une partie à part du travail. Les auteurs ont réuni 150 scènes Blender issues de sources propres et sous licence. Chacune reçoit cinq instructions de caméra, soit 750 tâches textuelles au total. Pour une partie des scènes, 60 vidéos de référence s'ajoutent : il faut en reproduire le caractère du mouvement de caméra.

CinemaBench teste deux modes : la génération à partir d'un texte et la génération à partir d'une vidéo de référence. Auparavant, une telle évaluation obligeait à constituer ses propres jeux de données ou à s'appuyer sur des métriques générales de qualité vidéo, qui distinguent à peine le travail de caméra.

Paramètres clés du travail :

• Entrées : instruction textuelle ou vidéo de référence
• Sortie : trajectoire de caméra explicite dans une scène 3D dynamique
• Agents : Director, Interpreter, Scout, Critic
• Paramètres contrôlés : déplacement, rotation, cadrage
• Benchmark : 150 scènes Blender, 750 tâches textuelles, 60 vidéos de référence
• Résultat : meilleurs scores parmi les méthodes de base évaluées et note la plus élevée dans les préférences des utilisateurs

À quoi cela peut servir en pratique

Les premiers intéressés par cette approche sont ceux qui ont besoin d'une caméra dans une scène en trois dimensions, mais n'ont ni opérateur ni temps pour poser les images clés à la main : prévisualisation dans le cinéma et la publicité, studios d'animation, cinématiques de jeux vidéo, visualisations architecturales. Si une phrase comme « lent travelling avant sur le héros avec un léger décalage vers la droite » peut devenir une trajectoire qui passe l'épreuve de la critique sur le rendu, le travail de dégrossissage s'accélère.

Le pattern lui-même est aussi utile aux développeurs de systèmes agentiques. La séparation entre interprète, exécutant, éclaireur et critique, avec un retour fondé sur le résultat visuel, se transpose à d'autres tâches où le résultat doit non seulement être généré, mais aussi vu : placement des lumières, montage, génération de scènes.

CinemaBench servira aux chercheurs. La communauté dispose désormais d'un jeu commun pour comparer les méthodes à partir d'un texte et d'une référence, au format Blender, donc avec un rendu reproductible. Reste à savoir dans quelle mesure l'approche tient face à des scènes hors benchmark, et combien coûte la boucle itérative avec rendu dans des pipelines réels. C'est là qu'on verra si FilmFlow passera du prototype de recherche à l'outil de travail.