Kling раскрыл, как учит видеомодель слушаться режиссёра: два судьи и умный промпт-энхансер

Знакомая боль каждого, кто пробовал управлять видеогенератором: пишешь «сделай как здесь», а получаешь чужой фон, лишний свет и героя с поплывшей кистью. Команда Kling выпустила препринт, где подробно объясняет, как они пытаются эту проблему лечить. Вывод неожиданный: пиксели уже не главное узкое место. Дело в том, насколько модель понимает, чего от неё хотят.

Разметка как монтажный лист

Первый слой решения — данные. Обычные подписи к видео вроде «мужчина бежит» заставляют диффузионную модель додумывать детали наугад. В статье разбирают 18-секундный ролик, где стандартное описание перепутало резкую склейку с плавным переходом и не заметило, что реплика началась до появления героя. Если такие детали теряются в обучающих текстах, модель не научится ими управлять.

Поэтому Kling делает описания максимально плотными: позы, материалы, ракурсы, траектории движения. Команда называет это «семантическим контрактом» между текстом и видео. Для режима image-to-video добавляют привязку частей исходной картинки к объектам в описании.

Отдельно учат роли референсов. Лицо берём с первой картинки, куртку со второй, движение камеры из видео, и больше ничего. Без явной привязки «сделай как здесь» превращается в «заодно возьми фон и освещение».

Промпт-энхансер, который видит результат

Пользователи пишут промпты из трёх-пяти слов. Энхансер переводит их на язык модели. Сначала его учат переписывать запросы в стиле подробных описаний. Затем для одного запроса делают несколько версий промпта, генерируют ролики и оценивают итог. Награда идёт по качеству видео, а не по красоте текста.

Есть и честный побочный эффект. Результат стал стабильнее, но самые выразительные варианты пострадали. Если судья штрафует за артефакты, выгоднее выбрать безопасное движение камеры, которое модель уже хорошо умеет. Классическая история: оптимизируешь надёжность, теряешь яркость.

Два судьи и чему учит этот опыт

Оценщиков у Kling два. Первый объясняет, где и что пошло не так: расплывшиеся пальцы, мигающий свет. Второй быстро выставляет оценки по движению, качеству картинки и соответствию запросу, и именно он нужен для массового обучения с подкреплением. Судья должен видеть достаточно кадров, иначе он пропустит дефект, длящийся долю секунды.

Ещё один интересный вывод: подключение более «умной» языковой модели как текстового энкодера видео не улучшает. Энкодеру нужно перцептивное обучение: пространственные отношения, оптика, композиция, а не логические задачи. Мультимодальную часть Kling-MLLM инициализировали из семейства Qwen и добавили обработку звука. Сам ролик при этом генерирует отдельная модель.

Что с этим делать на практике

Для разработчиков и продактов, которые строят продукты на видеогенерации, из статьи следует несколько вещей.

Во-первых, если вы дообучаете или оцениваете видеомодели, качество разметки важнее размера модели. Плотные описания с монтажной структурой дают контроль, которого нет у коротких подписей.

Во-вторых, если делаете интерфейс с несколькими референсами, дайте пользователю явно указывать, что именно брать из каждого. Модель этому можно научить, но и интерфейс должен выражать намерение.

В-третьих, следите за reward-моделью. Любой судья смещает генерацию к безопасному, и если вы оптимизируете только по отсутствию артефактов, получите скучное видео. Нужен баланс метрик: движение, картинка, соответствие запросу и отдельно выразительность.

Наконец, разделяйте понимание и рендеринг. Kling фактически строит вокруг генератора целую систему: разметчик, энхансер, судей. Для индустрии это сигнал: конкурентное преимущество видеомоделей смещается от размера диффузионного трансформера к качеству данных и обратной связи.

Ограничение очевидное: это препринт самой команды, независимых замеров нет, а доля эффекта от каждого компонента не раскрыта. Но как карта того, куда движется видеогенерация, текст полезен.