VibeVideoBench : des agents écrivent des vidéos en code, et le meilleur réussit 76,3% des tâches

Les modèles vidéo à diffusion produisent des clips spectaculaires, mais ils ne savent pas dessiner de façon fiable une formule exacte, un graphique correct, un jeu respectant ses règles ou une voix off synchrone avec les événements à l'écran. Une alternative existe déjà : des agents multimodaux écrivent du code qui rend chaque image et synthétise chaque son. Les auteurs de VibeVideoBench, parmi lesquels Muxi Diao, Wenbin Xu, Lele Yang et Zhanyu Ma, ont construit le premier benchmark, selon eux, dédié à ces agents en domaine ouvert avec son. Il comprend 239 tâches, neuf systèmes de pointe et 2 151 exécutions évaluées. Le meilleur système ne remplit toutes les exigences clés que dans 76,3% des tâches.

Une heure, un bac à sable et du TTS seulement

Les tâches sont autonomes et rédigées en anglais et en chinois. Elles se répartissent en 12 catégories : récits à partir de données, clips calés sur une musique, cours scolaires, décryptages d'articles scientifiques, jeux, vidéos de processus d'assemblage, et d'autres. L'agent travaille de façon entièrement autonome, dans son propre environnement « natif » au sein du bac à sable. Il n'y trouve ni générateur d'images ni générateur de vidéo, seulement de la synthèse vocale. Le livrable est un MP4 finalisé avec son, à rendre en une heure.

Le test mobilise plusieurs compétences à la fois : choisir un outil de rendu, écrire un scénario, synchroniser le son et l'image, et tenir le délai. Chaque système utilise sa propre pile de rendu ; les auteurs n'imposent pas de pipeline unique.

Une évaluation à trois niveaux : du fichier au goût

L'évaluation est hiérarchique et s'appuie sur des preuves :

• L1. Des vérifications programmatiques de la spécification de livraison : le fichier existe, le format est correct, le son est présent.
• L2. Environ 13 mille vérifications par grilles, rédigées pour chaque tâche. Chacune est rattachée à l'exigence qu'elle contrôle.
• L3. Cinq dimensions de qualité, ancrées dans chaque tâche.

Trois panels indépendants de juges VLM évaluent les vidéos. Seuls les juges capables d'entendre reçoivent les vérifications audio.

Qui est en tête, et où les vidéos se perdent

Le classement cite trois systèmes sur neuf :

• GPT-6 Astra — première place, tant selon les juges que selon les évaluations humaines en aveugle.
• Claude Opus 5.5 — deuxième place dans les deux classements.
• Gemini 4 Argon — livre 77% des vidéos. Si l'on compte les vidéos manquantes comme zéro, il passe de la 4e à la 7e place.

La livraison devient ainsi le second axe du classement. Sur 224 exécutions sans vidéo lisible, 169 ont vu le rendu final démarrer trop tard, avancer trop lentement ou ne pas se lancer du tout. Le problème tient à la façon dont les agents planifient leur heure, pas à leur capacité à écrire du code. Un modèle peut assembler brillamment une scène et ne pas avoir le temps de la rendre.

Autre observation : 95% des exécutions examinent leurs propres images, mais la corrélation entre le temps que l'agent passe à regarder et la qualité finale est quasi nulle (ρ = −0,07). L'autocontrôle visuel ne suffit pas à lui seul ; ce qui compte, c'est ce que l'agent fait de ce qu'il a vu.

Dans quelle mesure faire confiance aux juges

Les juges VLM classent les systèmes comme les humains (ρ = 0,98). Mais au niveau de paires de vidéos individuelles, ils ne s'accordent avec les humains que dans 73% des cas. L'évaluation automatique convient pour comparer des agents entre eux, mais mal pour rendre un verdict sur une vidéo isolée.

Que faire de ces résultats

Pour les équipes qui développent des agents de vidéo pédagogique, analytique ou marketing, le benchmark offre un repère clair. La précision des formules, des graphiques et de la synchronisation vocale est atteignable par le code, alors que la diffusion reste faible sur ce terrain. Le principal point de défaillance est la gestion du temps : il faut prévoir le budget de rendu à l'avance, lancer tôt un rendu provisoire et garder une voie de livraison de secours.

Pour choisir un modèle pour ce type d'usage, mieux vaut regarder la part de vidéos livrées, pas seulement la qualité des meilleures. Pour ses propres évaluations, il est raisonnable d'utiliser des juges VLM pour comparer les systèmes et de réserver aux humains la vérification de vidéos précises. Le projet et les données sont disponibles sur la page vibevideobench.

github.io.