Claude Code monta vídeo a partir de la transcripción: cómo funciona video-use, con 30 000 estrellas

El proyecto abierto video-use, del equipo de browser-use, convierte Claude Code en un editor de vídeo automático. Claude Code es la versión de Claude que se ejecuta en el ordenador del usuario y que abre archivos, lanza programas y crea otros nuevos por sí sola. La habilidad de vídeo (en la terminología de agentes, un «skill», es decir, un paquete de instrucciones y scripts para una tarea concreta) apareció en GitHub en la primavera de 2026, usa licencia MIT y en medio año ha reunido más de 30 000 estrellas.

Se deja el material original en una carpeta, se escribe qué quitar y qué añadir, y pocos minutos después el clip terminado está al lado. El skill también funciona con Codex de OpenAI, pero las instrucciones de instalación están escritas para Claude Code.

Por qué un modelo de texto puede con el vídeo

Claude no abre el archivo de vídeo completo. Trabaja con una transcripción. Imagine la copia impresa de una entrevista en la que cada palabra lleva la hora a la que se pronunció. Usted tacha los «eh», las repeticiones y las frases fallidas, y un ayudante corta la grabación según sus marcas. El flujo de trabajo funciona igual:

• La grabación se transcribe a texto con el tiempo exacto de cada palabra. Se señalan las pausas, las risas, los aplausos y los cambios de interlocutor.
• Claude lee el texto y decide qué conservar.
• Si un punto no está claro (una pausa larga, dos tomas parecidas), mira varios fotogramas de ese fragmento.
• Las decisiones se guardan como una lista de cortes: «de 0:12 a 0:47, luego de 1:03 a 1:30».
• FFmpeg, un programa gratuito para trabajar con vídeo, ensambla el clip según esa lista.
• Claude revisa las uniones y, si hay errores, rehace el montaje, con hasta tres intentos.

La economía de los tokens: gigabytes convertidos en 12 kilobytes

La idea de ingeniería central es la compresión. Todas las tomas se empaquetan en un único archivo, takes_packed.md, de unos 12 KB. Son unos pocos miles de tokens, que caben sin problema en el contexto del modelo. Para los puntos dudosos, el skill genera una imagen, timeline_view, con storyboard, forma de onda del audio y subtítulos de las palabras. Las decisiones se guardan en una EDL (edit decision list, lista de decisiones de montaje) y el estado del proyecto queda en project.md, de modo que el trabajo puede retomarse en la sesión siguiente.

browser-use aplicó el mismo truco al control del navegador: al agente no se le da una captura de pantalla de la página, sino su descripción textual estructurada. Aquí, en lugar del DOM, hace ese papel la transcripción con marcas de tiempo.

El coste depende de la duración de la grabación. La transcripción se factura por minutos, y Claude gasta más tokens con un texto largo. Un proyecto de una hora es notablemente más caro que uno de diez minutos, y con la suscripción Pro es fácil toparse con el límite. Claude Code requiere una suscripción Pro (desde $20 al mes) o Max, o bien una clave de API con pago por tokens. Para los usuarios de Rusia, el artículo propone una opción con pago en rublos a través de SpeShu.AI, donde están disponibles los modelos Claude Opus 5.5 y Claude Sonnet 5.

Qué hace, dónde flaquea y qué sale a la nube

El punto fuerte del montaje es el habla:

• elimina muletillas, tropiezos y pausas largas;
• corta entre palabras, no en mitad de un sonido;
• ante repeticiones, se queda con la mejor toma;
• aplica un fundido de audio de 30 ms en cada corte para evitar chasquidos;
• hace corrección de color, subtítulos y cortinillas.

Claude programa las animaciones, no las dibuja. Para ello hay tres herramientas:

• Remotion: vídeos de producto, interfaces, gráficos (el vídeo se describe como componentes de React);
• Manim: fórmulas, esquemas, explicaciones científicas (escenas en Python);
• HyperFrames de HeyGen: gráficos animados descritos como una página web (HTML y CSS, renderizado mediante headless Chrome).

El skill no crea planos de apoyo con otras imágenes: hay que dejarlos en la carpeta de antemano.

Los puntos débiles se derivan de la arquitectura. Una petición como «pon el plano después de que sonría» exige entender la imagen, y Claude solo ve texto y fotogramas sueltos. Los errores de transcripción pasan al montaje, sobre todo en grabaciones con ruido, con fuerte acento y en ruso. El modelo no sustituye a un técnico de sonido: reduce el ruido de forma limitada y no mezcla música ni efectos. Para ejecutarlo hace falta una terminal.

El vídeo en sí no sale del ordenador, y los cortes los hace el FFmpeg local. A la red van la pista de audio (si se elige la transcripción en la nube), la transcripción con las indicaciones del usuario y unos pocos fotogramas dudosos. Para grabaciones bajo NDA existe el fork freecut, que sustituye la transcripción en la nube por Whisper, que se ejecuta en la máquina del usuario. Por defecto usa mlx-whisper en Apple Silicon y faster-whisper en el resto de sistemas. freecut tiene unas 250 estrellas frente a las 30 000 del original, y sus actualizaciones llegan con retraso.

A quién le sale a cuenta

Sirve para todo aquello donde lo principal es una persona hablando: entrevistas, pódcast, clases, análisis, vídeos de demostración. Para una demo de producto bastan las capturas de pantalla y Remotion. Conviene escribir los prompts en inglés, porque las instrucciones del skill están en ese idioma. Una buena petición responde a cinco preguntas: qué archivos y en qué orden, qué resultado se busca (duración, formato, calidad), qué cortar, cómo darle formato y qué inserciones añadir y cuándo.

Antes de publicar, el clip hay que verlo uno mismo. Claude comprueba la técnica de las uniones, pero el sentido sigue siendo responsabilidad del usuario: palabras cortadas, nombres mal escritos en los subtítulos, saltos de volumen, pausas eliminadas que formaban parte de la forma de contar. Las correcciones hay que escribirlas indicando el tiempo.

Hay además una trampa de licencias. El propio video-use usa MIT y permite el uso comercial. Pero Remotion es gratuito solo para particulares y equipos de hasta tres personas.

Conclusión para ingenieros y equipos de producto: el flujo «transcripción → LLM → EDL → FFmpeg» es reproducible. El prompt, la lista de decisiones y el código de las animaciones se guardan como texto, se pueden almacenar en git y usar como plantillas. La calidad depende de la precisión de la transcripción y de cómo el modelo maneje un contexto largo. Claude no sustituye a las redes neuronales de vídeo especializadas: resuelve otra tarea, aunque con rapidez. Si publica con regularidad vídeos con una persona hablando, el ahorro se mide en horas por semana. Si monta una vez cada seis meses, por ahora le resulta más cómodo un editor convencional.