Un agente monta un estudio de motion graphics con 20 bibliotecas abiertas: de Remotion a Whisper

Veinte bibliotecas, ningún «modelo de vídeo» y un mp4 listo a la salida. El canal de Telegram «Точки над ИИ» ha reunido un conjunto de herramientas abiertas con las que un agente de código genera, a partir de un brief de texto, un vídeo animado con física, voz en off y subtítulos. Según los autores, el vídeo del propio post también está hecho con código. Las bibliotecas son corrientes: JavaScript y Python, sin nada pensado específicamente «para agentes». Pero los modelos de nivel Claude Opus conocen sus API lo bastante bien como para escribir código funcional sin una depuración larga.

Por qué a un agente le resulta más fácil escribir código que generar píxeles

Los modelos generativos de vídeo ofrecen un resultado vistoso, pero poco controlable: corregir un solo fotograma o desplazar un rótulo 12 píxeles es casi imposible. El código funciona de otra manera. La escena se describe con componentes, líneas de tiempo y parámetros, así que el agente cambia una línea y vuelve a renderizar el vídeo. El historial de versiones queda en git y la plantilla se puede usar para producir series.

La segunda ventaja es que estas bibliotecas cuentan con enormes bases de documentación y ejemplos. Todo ese material lleva tiempo en los conjuntos de entrenamiento, por lo que hay menos alucinaciones en las llamadas a la API que con herramientas nuevas y de nicho.

Las 20 herramientas, por grupos

Vídeo y renderizado

• Remotion — vídeo con React. Los fotogramas se describen con componentes y el renderizado produce un archivo. Es el armazón de todo el montaje.
• HyperFrames — de HTML a vídeo. El proyecto está en el repositorio de HeyGen y convierte maquetación web en un vídeo.
• OpenCut — editor de vídeo abierto para el montaje manual y el pulido de lo que haya generado el agente.
• OBS Studio — grabación de pantalla. Hace falta cuando hay que insertar en el vídeo una interfaz real o una demo.
• FFmpeg — exportación final, conversión y unión de clips. Casi cualquier pipeline de vídeo acaba apoyándose en él.

Animación

• Anime.js — líneas de tiempo sobre las que se construye la secuencia de movimientos.
• React Spring — animación basada en física de muelles. El movimiento parece vivo, no lineal.
• GL Transitions — transiciones con shaders entre escenas.
• tsParticles — partículas: confeti, nieve, chispas, efectos de fondo.

Gráficos 2D y generativos

• PixiJS — gráficos 2D en GPU. Maneja muchos sprites sin perder velocidad.
• p5.js — visuales generativos y código creativo.
• Paper.js — trazados vectoriales y operaciones sobre ellos.
• Matter.js — física 2D: colisiones, gravedad, objetos que caen.

3D

• Three.js — la biblioteca principal para escenas 3D en el navegador.
• Rapier — motor de física para 3D.
• OGL — envoltorio mínimo sobre WebGL para quien escribe sus propios shaders.
• glTF Transform — optimización de modelos 3D: compresión, reducción de peso, limpieza de assets.

Audio y subtítulos

• Chatterbox — modelo abierto de síntesis de voz; genera una voz en off a partir de texto.
• Tone.js — sintetizadores y efectos de sonido en el navegador.
• faster-whisper — implementación rápida de Whisper; convierte el habla en subtítulos con marcas de tiempo.

Cómo montar el pipeline y dónde falla

El esquema práctico es este. El agente recibe el brief y escribe el guion. Chatterbox lo locuta, faster-whisper devuelve los tiempos de cada palabra y Remotion o HyperFrames construyen las escenas a partir de esos tiempos. Three.js, Rapier, Matter.js y PixiJS aportan los gráficos y la física, las transiciones salen de GL Transitions y FFmpeg une todo en un mp4. Si hace falta una corrección manual, el archivo se abre en OpenCut.

También hay límites. El renderizado 3D pesado va lento en un equipo modesto. Las bibliotecas tienen licencias distintas, y para un vídeo comercial conviene revisar las condiciones de antemano. Los modelos de voz como Chatterbox exigen cautela con la clonación de voces ajenas.

La principal limitación la formulan los propios autores de la selección: las bibliotecas no deciden qué hay que filmar. La idea, la historia y el criterio estético siguen en manos de una persona, y esa capa es ahora la que determina la calidad del vídeo.