VibeVideoBench: agentes criam vídeos com código, e o melhor cumpre 76,3% das tarefas

Modelos de vídeo baseados em difusão geram clipes impressionantes, mas não conseguem desenhar de forma confiável uma fórmula exata, um gráfico correto, um jogo que siga as regras ou uma narração sincronizada com os eventos na tela. Já existe uma alternativa: agentes multimodais que escrevem código para renderizar cada quadro e sintetizar cada som. Os autores do VibeVideoBench, entre eles Muxi Diao, Wenbin Xu, Lele Yang e Zhanyu Ma, montaram o primeiro benchmark, segundo eles, para esse tipo de agente em domínio aberto e com áudio. Ele reúne 239 tarefas, nove sistemas de fronteira e 2 151 execuções avaliadas. O melhor sistema cumpre todos os requisitos-chave em apenas 76,3% das tarefas.

Uma hora, uma sandbox e apenas TTS

As tarefas são autossuficientes e foram redigidas em inglês e chinês. Elas se dividem em 12 categorias: narrativas com dados, vídeos sincronizados com música, aulas escolares, resumos de artigos científicos, jogos, vídeos sobre processos de montagem e outras. O agente trabalha de forma totalmente autônoma, com seu próprio harness «nativo», dentro de uma sandbox. Não há geradores de imagem nem de vídeo no ambiente; só está disponível a síntese de fala. O resultado é um MP4 pronto, com áudio, que precisa ser entregue em uma hora.

O teste exige várias habilidades ao mesmo tempo: escolher a ferramenta de renderização, escrever o roteiro, sincronizar áudio e imagem e cumprir o prazo. Cada sistema usa a sua própria stack de renderização, e os autores não impõem um pipeline único.

Avaliação em três níveis: do arquivo ao gosto

A avaliação é hierárquica e baseada em evidências:

• L1. Verificações programáticas da especificação de entrega: o arquivo existe, o formato está correto, o áudio está presente.
• L2. Cerca de 13 mil verificações por rubricas, escritas para tarefas específicas. Cada uma está vinculada ao requisito que checa.
• L3. Cinco dimensões de qualidade, ancoradas em cada tarefa.

O julgamento fica a cargo de três painéis independentes de juízes VLM. As verificações de áudio são feitas apenas pelos juízes capazes de ouvir.

Quem lidera e onde os vídeos se perdem

O ranking destaca três dos nove sistemas:

• GPT-6 Astra — primeiro lugar, tanto na avaliação dos juízes quanto nas avaliações cegas de humanos.
• Claude Opus 5.5 — segundo lugar nos dois critérios.
• Gemini 4 Argon — entrega 77% dos vídeos. Se os vídeos ausentes forem contados como zero, ele cai do 4º para o 7º lugar.

A entrega se torna o segundo eixo do ranking. Entre as 224 execuções sem vídeo reproduzível, em 169 a renderização final começou tarde demais, andou devagar demais ou nem chegou a ser iniciada. O problema está em como os agentes planejam a própria hora, e não na capacidade de escrever código. Um modelo pode montar uma cena de forma brilhante e não ter tempo de renderizá-la.

Há ainda outra observação: em 95% das execuções o agente revê os próprios quadros, mas a correlação entre o quanto ele olha e a qualidade final é praticamente nula (ρ = −0,07). A autoverificação visual, por si só, não ajuda; o que importa é o que o agente faz com o que viu.

Quanto dá para confiar nos juízes

Os juízes VLM ordenam os sistemas da mesma forma que os humanos (ρ = 0,98). No nível de pares individuais de vídeos, porém, eles concordam com as pessoas em apenas 73% dos casos. A avaliação automática serve para comparar agentes entre si, mas não é adequada para dar o veredito sobre um vídeo isolado.

O que fazer com isso

Para equipes que desenvolvem agentes de vídeo educacional, analítico ou de marketing, o benchmark oferece uma referência clara. Precisão em fórmulas, gráficos e sincronização de voz é alcançável com código, enquanto a difusão ainda é fraca nesse ponto. O principal ponto de falha é a gestão do tempo: é preciso reservar o orçamento de renderização com antecedência, iniciar uma renderização preliminar cedo e manter um caminho alternativo de entrega. Ao escolher um modelo para esse cenário, vale olhar a proporção de vídeos entregues, e não apenas a qualidade dos melhores resultados. Para avaliações próprias, é razoável usar juízes VLM para comparar sistemas e reservar os humanos para checar vídeos específicos. O projeto e os dados estão disponíveis em vibevideobench.github.io.