VibeVideoBench: los agentes crean vídeo con código y el mejor cumple en el 76,3% de las tareas

Los modelos de vídeo basados en difusión producen clips vistosos, pero no logran dibujar con fiabilidad una fórmula exacta, un gráfico correcto, un juego que respete sus reglas o una locución sincronizada con lo que ocurre en pantalla. Ya existe una alternativa: agentes multimodales que escriben código para renderizar cada fotograma y sintetizar cada sonido. Los autores de VibeVideoBench, entre ellos Muxi Diao, Wenbin Xu, Lele Yang y Zhanyu Ma, han reunido el primer benchmark, según sus datos, para este tipo de agentes en dominio abierto y con audio. Incluye 239 tareas, nueve sistemas de frontera y 2 151 ejecuciones evaluadas. El mejor sistema cumple todos los requisitos clave solo en el 76,3% de las tareas.

Una hora, un sandbox y solo TTS

Las tareas son autocontenidas y están redactadas en inglés y chino. Se dividen en 12 categorías: historias basadas en datos, vídeos con música, lecciones escolares, análisis de artículos científicos, juegos, vídeos sobre procesos de montaje y otras. El agente trabaja de forma totalmente autónoma, con su propio entorno «nativo» de herramientas dentro del sandbox. No hay generadores de imagen ni de vídeo; solo está disponible la síntesis de voz. El resultado es un MP4 terminado con sonido que debe entregarse en una hora.

La prueba mide varias habilidades a la vez: elegir una herramienta de renderizado, escribir un guion, sincronizar el audio con la imagen y cumplir el plazo. Cada sistema usa su propio stack de renderizado; los autores no imponen un pipeline único.

Evaluación en tres niveles: del archivo al criterio estético

La evaluación es jerárquica y se basa en evidencias:

• L1. Comprobaciones programáticas de la especificación de entrega: el archivo existe, el formato es correcto y hay audio.
• L2. Unas 13 mil comprobaciones por rúbricas, redactadas para cada tarea concreta. Cada una está vinculada al requisito que verifica.
• L3. Cinco dimensiones de calidad, ancladas a cada tarea.

Evalúan tres paneles independientes de jueces VLM. Las comprobaciones de audio solo las reciben los jueces capaces de oír.

Quién lidera y dónde se pierden los vídeos

En la clasificación se mencionan tres de los nueve sistemas:

• GPT-6 Astra: primer puesto tanto en la valoración de los jueces como en las evaluaciones ciegas de personas.
• Claude Opus 5.5: segundo puesto en ambas clasificaciones.
• Gemini 4 Argon: entrega el 77% de los vídeos. Si los vídeos que faltan se cuentan como cero, cae del 4.º al 7.º puesto.

La entrega se convierte en el segundo eje de la clasificación. De las 224 ejecuciones sin un vídeo reproducible, en 169 el renderizado final empezó demasiado tarde, fue demasiado lento o no llegó a lanzarse. El problema está en cómo planifican los agentes su hora, no en su capacidad para escribir código. Un modelo puede montar una escena de forma brillante y no tener tiempo de renderizarla.

Hay otra observación: el 95% de las ejecuciones revisan sus propios fotogramas, pero la correlación entre cuánto mira el agente y la calidad final es prácticamente nula (ρ = −0,07). La autoinspección visual por sí sola no ayuda; lo que importa es qué hace el agente con lo que ve.

Hasta qué punto se puede confiar en los jueces

Los jueces VLM ordenan los sistemas igual que las personas (ρ = 0,98). Sin embargo, a nivel de pares concretos de vídeos solo coinciden con los humanos en el 73% de los casos. La evaluación automática sirve para comparar agentes entre sí, pero no es adecuada para dictaminar sobre un vídeo individual.

Qué hacer con esto

Para los equipos que construyen agentes de vídeo educativo, analítico o de marketing, el benchmark ofrece una referencia clara. La precisión de fórmulas, gráficos y sincronización de voz es alcanzable con código, mientras que la difusión aún es débil en este terreno. El principal punto de fallo es la gestión del tiempo: conviene reservar de antemano el presupuesto de renderizado, lanzar un render preliminar pronto y mantener una vía alternativa de entrega.

Al elegir un modelo para este escenario, hay que fijarse en la proporción de vídeos entregados y no solo en la calidad de los mejores. Para las evaluaciones propias, lo razonable es usar jueces VLM para comparar sistemas y dejar a las personas la revisión de vídeos concretos. El proyecto y los datos están disponibles en la página vibevideobench.

github.io.