Un agent assemble un studio de motion design à partir de 20 bibliothèques open source, de Remotion à Whisper

Vingt bibliothèques, aucun « modèle vidéo », et un mp4 prêt à l'emploi en sortie. La chaîne Telegram « Точки над ИИ » a réuni un ensemble d'outils open source avec lesquels un agent de code produit, à partir d'un brief textuel, une vidéo animée avec physique, voix off et sous-titres. Selon les auteurs, la vidéo publiée dans le post lui-même a également été assemblée par du code. Les bibliothèques en question sont ordinaires : du JavaScript et du Python, rien n'y est conçu spécifiquement « pour les agents ». Mais les modèles de niveau Claude Opus connaissent suffisamment bien leurs API pour écrire du code fonctionnel sans longue phase de débogage.

Pourquoi il est plus simple pour un agent d'écrire du code que de

générer des pixels

Les modèles génératifs vidéo produisent un résultat esthétique, mais difficile à contrôler : corriger une seule image ou décaler un titre de 12 pixels est quasiment impossible. Le code fonctionne autrement. La scène est décrite par des composants, des timelines et des paramètres : l'agent modifie une ligne, puis relance le rendu. L'historique des versions est conservé dans git, et un modèle peut être décliné en série.

Second avantage : ces bibliothèques disposent d'une documentation et d'une base d'exemples considérables. Tout cela figure depuis longtemps dans les jeux de données d'entraînement, si bien que les appels d'API donnent lieu à moins d'hallucinations qu'avec des outils récents et de niche.

Les 20 outils, par catégorie

Vidéo et rendu

• Remotion — de la vidéo avec React. Les images sont décrites par des composants, et le rendu s'effectue vers un fichier. C'est l'ossature de tout l'assemblage.
• HyperFrames — du HTML vers la vidéo. Le projet se trouve dans le dépôt de HeyGen et transforme une page web en vidéo.
• OpenCut — un éditeur vidéo open source pour le montage manuel et la finalisation de ce que l'agent a assemblé.
• OBS Studio — capture d'écran. Utile quand il faut insérer une vraie interface ou une démo dans la vidéo.
• FFmpeg — export final, conversion et assemblage. Presque tous les pipelines vidéo finissent par s'appuyer sur lui.

Animation

• Anime.js — des timelines sur lesquelles repose l'enchaînement des mouvements.
• React Spring — animation basée sur une physique de ressort. Le mouvement paraît vivant, et non linéaire.
• GL Transitions — des transitions par shaders entre les scènes.
• tsParticles — des particules : confettis, neige, étincelles, effets d'arrière-plan.

2D et graphisme génératif

• PixiJS — graphisme 2D sur GPU. Gère un grand nombre de sprites sans perte de vitesse.
• p5.js — visuels génératifs et code créatif.
• Paper.js — chemins vectoriels et opérations sur ceux-ci.
• Matter.js — physique 2D : collisions, gravité, chute d'objets.

3D

• Three.js — la bibliothèque principale pour les scènes 3D dans le navigateur.
• Rapier — un moteur physique pour la 3D.
• OGL — une surcouche minimale de WebGL pour ceux qui écrivent leurs propres shaders.
• glTF Transform — optimisation de modèles 3D : compression, allègement, nettoyage des assets.

Audio et sous-titres

• Chatterbox — un modèle de synthèse vocale open source, qui génère une voix off à partir d'un texte.
• Tone.js — synthétiseurs et effets sonores dans le navigateur.
• faster-whisper — une implémentation rapide de Whisper, qui transforme la parole en sous-titres avec timecodes.

Comment assembler le pipeline, et où il casse

Voici un schéma pratique. L'agent reçoit le brief et écrit le scénario. Chatterbox le met en voix, faster-whisper renvoie les timings des mots, puis Remotion ou HyperFrames construisent les scènes d'après ces timings. Three.js, Rapier, Matter.js et PixiJS fournissent le graphisme et la physique, les transitions viennent de GL Transitions, et FFmpeg assemble le tout en mp4. Si une retouche manuelle est nécessaire, le fichier s'ouvre dans OpenCut.

Il y a aussi des limites. Un rendu 3D lourd est lent sur une machine peu puissante. Les bibliothèques ont des licences différentes : pour une vidéo commerciale, mieux vaut vérifier les conditions en amont. Les modèles vocaux comme Chatterbox exigent de la prudence en matière de clonage de la voix d'autrui.

Les auteurs de la sélection formulent eux-mêmes la principale limite : les bibliothèques ne décideront pas de ce qu'il faut filmer. L'idée, le scénario et le goût restent du ressort de l'humain, et c'est désormais cette couche qui détermine la qualité de la vidéo.