Tencent обучила 9B-модель монтировать длинные видео по тексту на уровне Claude Opus 5

Команда WeChat Vision из Tencent показала WeVisCut — агента, который превращает готовый текст диктора в длинный закадровый ролик: с нарезкой на кадры, подбором картинок, озвучкой, музыкой и финальной сборкой. Авторы утверждают, что одна компактная модель на 9 млрд параметров по качеству сопоставима с Claude Opus 5, а на каждую успешную минуту видео тратит заметно меньше сгенерированных токенов. Сравнение шло в одной и той же среде инструментов, на новом бенчмарке из 100 задач.

Почему монтаж по тексту ломается на стыках

В длинном видео все решения связаны между собой. Изменишь длительность одного кадра — съедут таймкоды всех следующих. Не подошла картинка — придётся заново искать материал и, возможно, пересматривать план для целой серии кадров. Существующие агентные редакторы обычно собирают из универсальных больших моделей цепочку этапов. Но как получить компактную модель, которая держит качество и не жжёт токены, при таком подходе неясно.

Сам текст диктора менять нельзя: задача — собрать видео нужного формата и длительности вокруг фиксированной озвучки.

Как устроена среда, в которой работает агент

Вокруг модели построена «обвязка» с общим состоянием проекта. Там хранится, какая часть текста покрыта, в каком порядке идут кадры, какие файлы уже созданы и какие проблемы остались. Запланированное и реально сделанное записываются отдельно.

Модель играет три роли:

• оркестратор выбирает инструмент и аргументы; • генератор выдаёт структурированное содержимое, например текст для оформления кадра; • критик осматривает результат и требует или проверяет правки.

Инструменты закрывают весь цикл: разбивка текста на сегменты, план кадров, поиск визуала, синтез речи, шаблоны оформления акцентных кадров, поиск фоновой музыки, сборка таймлайна, рендер, проверка качества, ремонт и итоговая склейка. Порядок не зашит жёстко: модель выбирает следующий шаг по текущему состоянию.

Среда проверяет каждый вызов. Если попросить склейку без готовых кадров или музыки, она вернёт «блокер» с перечнем недостающего, и оркестратор сначала сделает недостающее. Для акцентных кадров качество оценивает визуальная модель-судья. Правки точечные: исправили оформление — озвучку заново не генерируют. Число попыток ремонта ограничено, но лимит не отменяет требований к доставке: без нужных файлов финальное видео не засчитывается.

Как из готовых роликов получили обучающие данные

Готовое видео хранит только реплики и структуру кадров, но не вызовы инструментов, ошибки и правки. Поэтому авторы собрали четырёхшаговый конвейер на 3 750 роликах с Bilibili (технологии и цифровые продукты, бизнес и финансы, естественные науки, общественные науки и гуманитарные темы):

• Восстановление замысла. Из ролика достают реплики с таймкодами, структуру кадров и привязку каждого предложения к кадру. Получается раскадровка, а не действия исходного монтажёра. • Проверенный прогон. Раскадровку исполняют теми же инструментами, что и в продакшене. Среда сверяет ссылки на файлы, длительность аудио, входы шаблонов, позиции на таймлайне и итоговый рендер. • Осмотр и ремонт. Если в прогоне вылезли дефекты, их исправляют точечно, сохраняя удачные артефакты. • Сборка примеров. Записи вызовов, ответов и правок раскладывают по ролям в обучающие примеры.

Итог — больше 130 тысяч примеров.

Обучение и оценка

Обучение идёт в два этапа. Сначала единое дообучение на примерах и дообучение на отобранных удачных запусках, проверенных средой, — так модель осваивает инструменты и восстановление после сбоев. Затем Guided-OPD: учитель и ученик ходят по очереди, а вмешательство учителя постепенно убирают, чтобы модель училась на состояниях, в которые сама и попала. Дальше награды сравнивают только внутри одной роли и одного контекста.

Бенчмарк включает 100 задач и пять метрик: точность следования тексту, соответствие картинки озвучке, выполнение плана по времени, согласованность на длинной дистанции и доля успешно доставленных видео. Метрики связывают видео со сценарием и планом, а не только с фактом успешного рендера.

Система лучше своей базовой модели и превосходит специализированные редакторы под ту же задачу. Предыдущая работа на среде Crayotter тоже обучала модель на 9B, но по предпочтениям к финальному видео и на задачах, составленных вручную. Здесь модель учится на исполняемых траекториях.

Для инженеров вывод такой. Среда с проверкой каждого шага и записью ошибок даёт обучающие данные, а не только защиту от сбоев. Для бизнеса: небольшая модель в нужной среде может заменить дорогой универсальный API в массовом производстве explainer-роликов. Код, страница проекта и веса опубликованы на GitHub и Hugging Face.