MMVistaReason: открытый рецепт обучения 4B-модели обходит Qwen3.5-9B на 15 бенчмарках

Открытые мультимодальные модели рассуждения давно учатся на больших массивах размеченных траекторий, но на выходе качество часто плавает: данные разнородные, сложность перекошена, а домены мешают друг другу. Авторы MMVistaReason (MVR) предлагают цельный рецепт пост-обучения на открытых данных и показывают результат в цифрах. Модель MVR-4B набирает в среднем 72,8 балла на 15 мультимодальных бенчмарках и обходит Qwen3.5-9B (Instruct) и MMFineReason-8B. При этом ей хватило примерно на 70% меньше обучающих образцов, чем MMFineReason. Версия на 9B поднимает среднюю оценку до 74,4 и опережает Qwen3.5-35B-A3B (Instruct).

Три слоя рецепта: покрытие, данные, специализация

Первый слой касается покрытия навыков. Авторы делят способности на две взаимодополняющие группы, Analytical и Real-World. Упор сделан на структурное рассуждение, а не только на визуальное восприятие и пространственную привязку (spatial grounding).

Второй слой посвящён конструированию данных. Гетерогенные открытые датасеты приводятся к единому формату через поэтапную чистку и аннотацию. Для SFT применяется каскадная дистилляция от учителей с учётом сложности задач. Из набора сгенерированных траекторий выбираются те, у которых выше правдоподобие правильного ответа (answer-likelihood). Так получился корпус MVR-SFT-528K. Для RL отдельно построен набор MVR-RL-63K, отфильтрованный по «границе» возможностей конкретного масштаба модели: задачи не должны быть ни слишком лёгкими, ни заведомо непосильными.

Третий слой называется specialize-then-integrate. Сначала обучаются комплементарные RL-эксперты, каждый в своей области. Затем их навыки сводятся в одну модель через multi-teacher on-policy distillation (MOPD).

Маленьким нужен отбор, большим можно и так

Самое интересное в статье — анализ зависимости от ёмкости модели. Сложность примеров, качество траекторий и размер студента влияют друг на друга. Малые модели заметно выигрывают от тщательно отобранной supervision. Крупные устойчивее: они переносят разброс в качестве траекторий и интерференцию смешанных доменов.

Смешанный по доменам RL даёт негативный перенос на уровне отдельных бенчмарков: улучшение в одном месте оплачивается просадкой в другом. MOPD же интегрирует навыки стабильно. Причём предпочтительное направление KL-дивергенции в дистилляции меняется с масштабом модели, так что универсальной настройки здесь нет.

Что сравнивали и что получили

• MVR-4B: среднее 72,8 на 15 мультимодальных бенчмарках • MVR-9B: среднее 74,4 на тех же 15 бенчмарках • Qwen3.5-9B (Instruct): уступает MVR-4B • MMFineReason-8B: уступает MVR-4B, при этом использует примерно на 70% больше образцов, чем нужно MVR • Qwen3.5-35B-A3B (Instruct): уступает MVR-9B • MVR-SFT-528K: корпус для supervised-этапа • MVR-RL-63K: корпус для RL-этапа с фильтрацией по границе возможностей • MOPD: метод слияния RL-экспертов через мультиучительскую on-policy дистилляцию

Сравнение с Qwen3.5-35B-A3B стоит читать аккуратно: это MoE-модель с малым числом активных параметров, и сопоставление идёт с её Instruct-версией. Тем не менее плотная модель на 9B, обученная на открытых данных, обходит заметно более крупную по общему числу параметров. Об этом авторы и говорят.

Что забрать в свой пайплайн

Для команд, которые дообучают открытые VLM, из статьи выводится несколько практических правил. Если модель маленькая, вкладывайтесь в отбор траекторий и калибровку сложности: именно там отдача выше всего. Если большая, можно экономить на чистке, но не на разделении доменов в RL.

Смешивать все домены в одном RL-запуске рискованно. Надёжнее обучать узких экспертов и сводить их через дистилляцию, подбирая направление KL под размер модели. Фильтровать RL-задачи стоит под конкретный масштаб: набор, удачный для 9B, может оказаться бесполезным для 4B.

Код проекта опубликован на GitHub в репозитории JackieForest/MMVistaReason. Статья вышла 22 октября 2026 года, её авторы — Juekai Lin, Honglin Lin, Yuqian Yuan, Xiaolong Wu, Jie Cao, Liang Liang, Yunqi Cao, Yun Zhu, Wenqiao Zhang и Lijun Wu. Работа вошла в Hugging Face Daily Papers, где пока набрала три апвоута, так что независимых проверок результатов ещё предстоит дождаться.