Un agent monte un studio de motion design avec 20 bibliothèques ouvertes, de Remotion à Whisper

Vingt bibliothèques, aucun « modèle vidéo » et un mp4 terminé en sortie. La chaîne Telegram « Tochki nad II » a rassemblé un ensemble d'outils ouverts avec lesquels un agent de programmation transforme un brief textuel en clip animé avec physique, voix off et sous-titres. Selon les auteurs, le clip du post lui-même a aussi été réalisé avec du code. Les bibliothèques sont ordinaires : JavaScript et Python, et aucune n'est conçue spécifiquement « pour les agents ». Mais les modèles de niveau Claude Opus connaissent assez bien leurs API pour écrire du code fonctionnel sans longue phase de débogage.

Pourquoi il est plus simple pour un agent d'écrire du code que de

générer des pixels

Les modèles vidéo génératifs produisent un résultat séduisant mais difficile à contrôler : corriger une seule image ou décaler un titre de 12 pixels est presque impossible. Le code fonctionne autrement. La scène est décrite par des composants, des timelines et des paramètres : l'agent modifie une ligne et relance le rendu du clip. L'historique des versions est dans git, et le modèle peut être réutilisé pour une série.

Second avantage : ces bibliothèques disposent d'énormes bases de documentation et d'exemples. Tout cela est entré depuis longtemps dans les jeux de données d'entraînement, d'où moins d'hallucinations dans les appels d'API qu'avec des outils récents et de niche.

Les 20 outils, par groupe

Vidéo et rendu

• Remotion — de la vidéo en React. Les images sont décrites par des composants et le rendu produit un fichier. C'est l'ossature de tout l'assemblage.
• HyperFrames — du HTML vers la vidéo. Le projet se trouve dans le dépôt de HeyGen et transforme une mise en page web en clip.
• OpenCut — éditeur vidéo ouvert pour le montage manuel et la finition de ce que l'agent a assemblé.
• OBS Studio — capture d'écran. Utile quand il faut insérer une vraie interface ou une démo dans le clip.
• FFmpeg — export final, conversion et assemblage. Presque tout pipeline vidéo finit par en dépendre.

Animation

• Anime.js — des timelines sur lesquelles repose l'enchaînement des mouvements.
• React Spring — animation fondée sur la physique des ressorts. Le mouvement paraît vivant, pas linéaire.
• GL Transitions — transitions par shaders entre les scènes.
• tsParticles — particules : confettis, neige, étincelles, effets d'arrière-plan.

2D et graphisme génératif

• PixiJS — graphisme 2D sur GPU. Gère de nombreux sprites sans perte de vitesse.
• p5.js — visuels génératifs et code créatif.
• Paper.js — tracés vectoriels et opérations sur ceux-ci.
• Matter.js — physique 2D : collisions, gravité, objets qui tombent.

3D

• Three.js — la bibliothèque principale pour les scènes 3D dans le navigateur.
• Rapier — moteur physique pour la 3D.
• OGL — une surcouche minimale de WebGL pour ceux qui écrivent leurs propres shaders.
• glTF Transform — optimisation de modèles 3D : compression, allègement, nettoyage des assets.

Son et sous-titres

• Chatterbox — modèle vocal ouvert qui produit une voix off à partir de texte.
• Tone.js — synthétiseurs et effets sonores dans le navigateur.
• faster-whisper — implémentation rapide de Whisper qui transforme la parole en sous-titres avec timecodes.

Comment assembler le pipeline et où il casse

Voici un schéma pratique. L'agent reçoit le brief et écrit le scénario. Chatterbox le met en voix, faster-whisper renvoie le minutage des mots, puis Remotion ou HyperFrames organisent les scènes d'après ce minutage. Three.js, Rapier, Matter.js et PixiJS fournissent le graphisme et la physique, les transitions viennent de GL Transitions et FFmpeg assemble le tout en mp4. Si une retouche manuelle est nécessaire, le fichier s'ouvre dans OpenCut.

Il y a aussi des limites. Un rendu 3D lourd sur une machine peu puissante est lent. Les bibliothèques ont des licences différentes, et pour un clip commercial il vaut mieux vérifier les conditions à l'avance. Les modèles vocaux comme Chatterbox demandent de la prudence pour le clonage de voix d'autrui.

Les auteurs de la sélection formulent eux-mêmes la principale limite : les bibliothèques n'inventeront pas ce qu'il faut filmer. L'idée, l'histoire et le goût restent du côté de l'humain, et c'est cette couche qui détermine désormais la qualité du clip.