VibeVideoBench: агенты пишут видео кодом, и лучший справляется в 76,3% задач

Диффузионные видеомодели выдают эффектные ролики, но не могут надёжно нарисовать точную формулу, верный график, игру по правилам или закадровый голос, синхронный с событиями на экране. Альтернатива уже появилась: мультимодальные агенты пишут код, который рендерит каждый кадр и синтезирует каждый звук. Авторы VibeVideoBench, среди которых Muxi Diao, Wenbin Xu, Lele Yang и Zhanyu Ma, собрали первый, по их данным, бенчмарк для таких агентов в открытом домене со звуком. Он включает 239 задач, девять фронтирных систем и 2 151 оценённый прогон. Лучшая система выполняет все ключевые требования лишь в 76,3% задач.

Час, песочница и только TTS

Задачи самодостаточны и сформулированы на английском и китайском. Они делятся на 12 категорий: истории на данных, ролики под музыку, школьные уроки, разборы научных статей, игры, видео о процессе сборки и другие. Агент работает полностью автономно в собственной «родной» обвязке внутри песочницы. Ни image-, ни видеогенераторов там нет, доступен лишь синтез речи. Результат — готовый MP4 со звуком, который нужно сдать за один час.

Это проверяет сразу несколько навыков: выбрать инструмент рендера, написать сценарий, свести звук с картинкой и уложиться во время. Каждая система использует свой стек рендеринга, единого пайплайна авторы не навязывают.

Трёхуровневая проверка: от файла до вкуса

Оценка иерархическая и опирается на свидетельства:

• L1. Программные проверки спецификации сдачи: файл есть, формат правильный, звук присутствует.
• L2. Около 13 тысяч проверок по рубрикам, написанных под конкретные задачи. Каждая привязана к требованию, которое она проверяет.
• L3. Пять измерений качества, заякоренных под каждую задачу.

Судят три независимые панели VLM-судей. Аудиопроверки получают только те судьи, которые умеют слышать.

Кто впереди и где теряются ролики

В рейтинге названы три системы из девяти:

• GPT-6 Astra — первое место и по оценке судей, и по слепым оценкам людей.
• Claude Opus 5.5 — второе место в обоих зачётах.
• Gemini 4 Argon — доставляет 77% роликов. Если пропавшие видео считать нулём, он падает с 4-го места на 7-е.

Доставка становится второй осью рейтинга. Из 224 запусков без проигрываемого видео в 169 финальный рендер начался слишком поздно, шёл слишком медленно или не запустился вовсе. Проблема в том, как агенты планируют свой час, а не в умении писать код. Модель может блестяще собрать сцену и не успеть её отрендерить.

Ещё одно наблюдение: 95% запусков просматривают собственные кадры, но корреляция между тем, как много агент смотрит, и итоговым качеством практически нулевая (ρ = −0,07). Сам по себе визуальный самоконтроль не помогает, важно, что агент делает с увиденным.

Насколько можно доверять судьям

Судьи-VLM ранжируют системы так же, как люди (ρ = 0,98). Но на уровне отдельных пар роликов они совпадают с людьми лишь в 73% случаев. Автоматическая оценка годится, чтобы сравнивать агентов между собой, и плохо подходит для вердикта по одному видео.

Что с этим делать

Командам, которые строят агентов для образовательного, аналитического или маркетингового видео, бенчмарк даёт чёткий ориентир. Точность формул, графиков и синхронизации голоса достижима кодом, а диффузия здесь пока слаба. Основная точка отказа — управление временем: бюджет на рендер нужно закладывать заранее, запускать черновой рендер рано и держать запасной путь сдачи. Выбирая модель под такой сценарий, стоит смотреть на долю доставленных видео, а не только на качество лучших. Для собственных оценок разумно использовать VLM-судей для сравнения систем и оставлять людей для проверки конкретных роликов. Проект и данные доступны на странице vibevideobench.github.io.