SPLIT-RL учит VLM смотреть и рассуждать раздельно: +1,4–6,1 п.п. к GRPO

Авторы препринта arXiv:2610.10889 предлагают SPLIT-RL, схему пост-тренинга, в которой vision-language модель сначала учат корректно извлекать информацию из изображения, а затем выводить из неё ответ. Средняя точность выросла на 1,4–6,1 пункта относительно стандартного GRPO. Замеры проводились на моделях Qwen3-VL от 2B до 30B-A3B и на InternVL3.5-8B. На инференсе ничего не меняется: один вызов chain-of-thought, как у обычной GRPO-модели.

Одна награда на два навыка

VL-рассуждение состоит из двух частей: визуальной (VR), когда модель вытаскивает из картинки нужные и точные детали, и языковой (LR), когда по этим деталям строится ответ. Обучение с подкреплением и проверяемыми наградами (RLVR) обычно гонит обе части через одну цепочку рассуждений с наградой только за финальный ответ. Каждый токен CoT получает один и тот же advantage на уровне последовательности. Если модель неверно прочитала значение на графике, но логика безупречна, штраф получат и правильные шаги. Если восприятие было верным, а вывод ошибочным, штраф достанется и ему. Сигнал не показывает, какая именно способность подвела.

Две фазы и advantage на уровне утверждений

SPLIT-RL разделяет обучение на непересекающиеся фазы: отдельно VR, отдельно LR, у каждой своя награда. Логика опирается на устройство GRPO, где rollouts внутри группы сравниваются друг с другом. Если в рамках фазы rollouts различаются только по одной способности, group-relative advantage изолирует именно её. Конкретные формулы наград в аннотации не приводятся.

Для фазы восприятия авторы добавили Claim-Level Advantage (CLA-GRPO). Rollouts раскладываются на атомарные визуальные утверждения вроде «на изображении три красных объекта», а advantage считается для каждого утверждения отдельно. Группы формируются по визуальному типу утверждения. Вместо одного скаляра на весь текст модель получает детальный сигнал о том, что именно она увидела верно или неверно.

Ключевые параметры работы:

• Метод: двухфазный пост-тренинг (VR, затем LR) с наградой под каждую фазу.
• Новый алгоритм для VR-фазы: CLA-GRPO с advantage на уровне визуальных утверждений.
• Прирост: +1,4–6,1 пункта средней точности относительно GRPO.
• Модели: Qwen3-VL (2B–30B-A3B) и InternVL3.5-8B.
• Инференс: один вызов CoT, архитектура и протокол оценки как у GRPO-модели.

Диагностика: восприятие у GRPO не двигается

Самое интересное в статье — не итоговый прирост, а диагностика. Авторы оценивали каждую способность отдельно с помощью oracle-подхода. Вывод: GRPO с наградой только за ответ оставляет восприятие без изменений, а SPLIT-RL улучшает и VR, и LR. Получается, что заметная часть «прогресса рассуждения» при стандартном RLVR на деле сводится к языковой части, а визуальная остаётся на уровне базовой модели.

Ограничения тоже видны. Разброс в 4,7 пункта между минимальным и максимальным приростом означает сильную зависимость от модели, а по аннотации не понять, где эффект максимален. Обучение усложняется: нужны две фазы и механизм разбиения ответов на проверяемые визуальные утверждения. Стоимость этого в аннотации не оценена.

Что взять в работу

Командам, которые дообучают VLM через RLVR, стоит добавить в пайплайн раздельную оценку восприятия и рассуждения до и после тренировки. Если точность на бенчмарках растёт, а восприятие стоит на месте, модель, вероятно, просто лучше выводит ответ из того же неточного прочтения картинки. Это особенно важно для задач с документами, диаграммами и таблицами, где ошибка чтения цифры обесценивает любую логику. Дополнительные затраты SPLIT-RL ложатся только на этап обучения, а сервинг остаётся прежним. Перед внедрением нужно дождаться полных таблиц по бенчмаркам и кода, а затем проверить метод на собственных данных.