Qwen3-1.7B дообучили на сыром видео без подписей: +5,1 балла на картинках

Исследователи в препринте arXiv 2610.11019 взяли Qwen3-1.7B, прогнали её через стадию mid-training на сыром видео из YT-Temporal-1B и затем одинаково дообучили на парах «изображение-текст». Модель с видеостадией набрала в среднем на 2,9 балла больше на четырёх видеобенчмарках и на 5,1 балла больше на десяти картиночных. Текстовые навыки при этом не просели: 48,9 против 48,0 на 14 тестах. Подписей и текстового лосса на этом этапе не было вообще.

Как устроен эксперимент

Мультимодальные LLM обычно учатся на парах «картинка-текст» или на размеченном видео. Сырое веб-видео для дообучения уже готовой языковой модели почти не берут. Авторы проверили, можно ли это исправить.

Кадры кодируются в непрерывные визуальные токены, а языковая модель учится предсказывать следующий визуальный токен. Это тот же принцип next-token prediction, только вместо слов в нём кадры. Текстовой части в этой стадии нет совсем.

Контроль сделан аккуратно. К модели после видео-mid-training и к модели без неё применили один и тот же image-text instruction tuning. Единственное различие между ними — промежуточная стадия на видео. Поэтому прирост можно отнести именно к ней, а не к разнице в финальной настройке.

Что показали цифры

Основные результаты по сравнению с моделью без mid-training:

• видеобенчмарки: +2,9 балла в среднем по четырём тестам;
• картиночные бенчмарки: +5,1 балла в среднем по десяти, включая задачи на восприятие, документы и графики;
• текстовые бенчмарки: 48,9 против 48,0 в среднем по 14 тестам;
• база: Qwen3-1.7B, данные: клипы из YT-Temporal-1B.

Прирост на картинках оказался заметно больше, чем на самом видео. Особенно любопытно, что в него входят документы и графики, то есть задачи, далёкие от роликов с YouTube. Видимо, предсказание следующего визуального токена учит модель общим визуальным представлениям, которые потом переносятся на статичные изображения. Авторы такую интерпретацию в аннотации прямо не формулируют, это наш вывод из цифр.

Ещё один результат касается динамики. Улучшения на изображениях и видео появляются в первые 30% обучения, после чего выходят на плато и колеблются менее чем на 0,5 балла. Длинный прогон на дополнительных данных, судя по этим кривым, почти ничего не добавляет.

Наконец, авторы сравнили свой подход с предсказанием подписей. Оно не превзошло предсказание следующего визуального токена. Значит, mid-training на видео может оставаться полностью self-supervised, без вычислительных затрат на автоматическое описание клипов и без шума, который вносят сгенерированные подписи.

Кому это пригодится

Для команд, которые строят собственные мультимодальные модели, вывод приземлённый. Огромные массивы немаркированного видео можно использовать как дешёвый промежуточный этап между текстовым претрейном и инструктивной настройкой. Не нужен конвейер разметки и не нужна отдельная модель-описатель. Раннее плато подсказывает, что бюджет на эту стадию можно ограничить.

Пока стоит помнить об ограничениях. Это препринт, и проверяли его на одной небольшой модели в 1,7 млрд параметров и на одном видеодатасете. Разница в текстовых тестах в 0,9 балла говорит скорее об отсутствии деградации, чем о росте. Масштабируется ли эффект на более крупные модели и другие источники видео, из аннотации не видно. Именно это стоит проверить следующим шагом.