Claude Code monte des vidéos à partir de la transcription : comment fonctionne video-use, le skill aux 30 000 étoiles

Le projet open source video-use, développé par l'équipe de browser-use, transforme Claude Code en monteur vidéo automatique. Claude Code est la version de Claude qui s'exécute sur votre ordinateur : elle ouvre des fichiers, lance des programmes et en crée de nouveaux de manière autonome. Ce module vidéo (dans le jargon des agents, un « skill », c'est-à-dire un paquet d'instructions et de scripts dédié à une tâche) est apparu sur GitHub au printemps 2026.

Il est distribué sous licence MIT et a réuni plus de 30 000 étoiles en six mois. Vous déposez la source dans un dossier, indiquez ce qu'il faut supprimer et ce qu'il faut ajouter, et quelques minutes plus tard, la vidéo finie se trouve à côté. Le skill fonctionne aussi avec Codex d'OpenAI, mais le guide d'installation est écrit pour Claude Code.

Pourquoi un modèle textuel sait traiter de la vidéo

Claude n'ouvre pas le fichier vidéo en entier. Il travaille sur une transcription. Imaginez la retranscription d'une interview où chaque mot est accompagné de son heure de prononciation. Vous barrez les « euh », les répétitions et les phrases ratées, et un assistant découpe l'enregistrement selon vos annotations. Le pipeline fonctionne de la même façon :

• L'enregistrement est transcrit en texte, avec l'heure exacte de chaque mot. Les pauses, les rires, les applaudissements et les changements d'interlocuteur sont signalés.
• Claude lit le texte et décide ce qu'il garde.
• Si un passage est ambigu (longue pause, deux prises similaires), il examine quelques images de ce fragment.
• Les décisions sont consignées sous forme de liste de coupes : « de 0:12 à 0:47, puis de 1:03 à 1:30 ».
• FFmpeg, un logiciel gratuit de traitement vidéo, assemble la vidéo selon cette liste.
• Claude vérifie les raccords et, en cas d'erreur, refait le montage, jusqu'à trois tentatives.

Économie de tokens : des gigaoctets réduits à 12 kilooctets

L'idée d'ingénierie centrale tient dans la compression. Toutes les prises sont condensées dans un seul fichier, takes_packed.md, d'environ 12 Ko. Cela représente quelques milliers de tokens, qui tiennent sans difficulté dans le contexte du modèle. Pour les passages litigieux, le skill génère une image timeline_view : storyboard, forme d'onde sonore et légendes des mots. Les décisions sont stockées dans une EDL (edit decision list, liste de décisions de montage), et l'état du projet se trouve dans project.md, ce qui permet de reprendre le travail à la session suivante.

browser-use a appliqué le même principe au pilotage du navigateur : l'agent ne reçoit pas une capture d'écran de la page, mais sa description textuelle structurée. Ici, la transcription horodatée joue le rôle du DOM.

Le coût dépend de la durée de l'enregistrement. La transcription est facturée à la minute, et Claude consomme davantage de tokens sur un texte long. Un projet d'une heure coûte nettement plus cher qu'un projet de dix minutes, et avec l'abonnement Pro, on atteint facilement la limite. Claude Code exige un abonnement Pro (à partir de $20 par mois) ou Max, ou bien une clé API facturée au token. Pour les utilisateurs russes, l'article propose une option avec paiement en roubles via SpeShu.AI, où les modèles Claude Opus 5.5 et Claude Sonnet 5 sont disponibles.

Ce que l'outil sait faire, ses faiblesses et ce qui part dans le cloud

Le point fort du montage, c'est la parole :

• il supprime les tics de langage, les lapsus et les longues pauses ;
• il coupe entre les mots, et non au milieu d'un son ;
• en cas de répétition, il garde la meilleure prise ;
• il applique un fondu audio de 30 ms à chaque raccord pour éviter les claquements ;
• il réalise l'étalonnage, les sous-titres et les écrans-titres.

Claude programme les animations au lieu de les dessiner. Trois outils sont prévus pour cela :

• Remotion : vidéos produit, interfaces, graphiques (la vidéo est décrite sous forme de composants React) ;
• Manim : formules, schémas, explications scientifiques (scènes en Python) ;
• HyperFrames de HeyGen : graphismes animés décrits comme une page web (HTML et CSS, rendu via Chrome headless).

Le skill ne crée pas de plans de coupe avec d'autres images : il faut les déposer à l'avance dans le dossier.

Les points faibles découlent de l'architecture. Une demande comme « place le plan après qu'il a souri » exige de comprendre l'image, or Claude ne voit que du texte et quelques images isolées. Les erreurs de transcription se répercutent sur le montage, surtout sur un enregistrement bruité, avec un fort accent ou en russe. Le modèle ne remplace pas un ingénieur du son : il ne réduit le bruit que de façon limitée et ne mixe ni la musique ni les effets. Il faut un terminal pour le lancer.

La vidéo elle-même ne quitte pas l'ordinateur : les coupes sont réalisées par FFmpeg en local. Sont envoyés sur le réseau la piste audio (si la transcription dans le cloud est choisie), la transcription accompagnée de vos consignes et quelques images litigieuses. Pour les enregistrements sous NDA, il existe le fork freecut : il remplace la transcription cloud par Whisper, exécuté sur la machine de l'utilisateur. Par défaut, il s'agit de mlx-whisper sur Apple Silicon et de faster-whisper sur les autres systèmes. freecut compte environ 250 étoiles contre 30 000 pour l'original, et les mises à jour y arrivent avec du retard.

À qui cela profite

L'outil convient à tout contenu centré sur une personne qui parle : interviews, podcasts, cours, analyses, vidéos de démonstration. Pour une démo de produit, les captures d'écran et Remotion suffisent. Il vaut mieux rédiger les prompts en anglais, car les instructions du skill sont en anglais. Une bonne requête répond à cinq questions : quels fichiers et dans quel ordre, quel résultat (durée, format, qualité), quoi supprimer, quelle mise en forme, quelles insertions et à quel moment.

Il faut visionner soi-même la vidéo avant de la publier. Claude vérifie la technique des raccords, mais le sens reste de votre ressort : mots coupés, noms mal orthographiés dans les sous-titres, sauts de volume, pauses supprimées qui faisaient partie du rythme. Rédigez vos corrections en indiquant le temps.

Il existe aussi un piège de licence. video-use lui-même est sous MIT et l'usage commercial est autorisé. Mais Remotion n'est gratuit que pour les particuliers et les équipes de trois personnes maximum.

Ce qu'il faut retenir pour les ingénieurs et les équipes produit : le pipeline « transcription → LLM → EDL → FFmpeg » est reproductible. Le prompt, la liste de décisions et le code des animations sont du texte : on peut les conserver dans git et les réutiliser comme modèles. La qualité dépend de la précision de la transcription et de la capacité du modèle à tenir un long contexte.

Claude ne remplace pas les modèles d'IA vidéo spécialisés : il résout un autre problème, mais rapidement. Si vous publiez régulièrement des vidéos où l'on parle, le gain se compte en heures par semaine. Si vous montez une fois tous les six mois, un éditeur classique reste pour l'instant plus pratique.