Линейная голова на Qwen3-VL обошла GPT-4o в оценке ответов без разметки

Исследователи показали, что мультимодальной reward-модели не нужны аннотаторы. Линейная голова на промежуточном слое замороженного Qwen3-VL учится ставить веб-подпись к картинке выше её искажённой версии, и больше ничего. На масштабе 32B один и тот же рецепт без перенастройки сравнивается с GPT-4o или обходит его на трёх бенчмарках, а на VL-RewardBench впереди на 6,6 пункта. Обучаемых параметров несколько тысяч, вычислений примерно в тысячу раз меньше, чем при файнтюне.

Как устроен рецепт

Обычно reward-модели для vision-language учат на размеченных парах предпочтений. Такая разметка дорогая, аннотаторы расходятся в оценках, а качество потом меряют точностью на бенчмарке. Авторы убирают человека из обучения. Берут обычную подпись к изображению из интернета, портят её (подробности сэмплера в абстракте не раскрыты) и учат голову предпочитать оригинал. Размеченные данные нужны только в одном месте: чтобы выбрать, с какого слоя снимать признаки.

Именно этот выбор оказался решающим. Промежуточный слой даёт на 5,8 пункта больше, чем последний. Последние слои, видимо, слишком заточены под предсказание следующего токена, а середина сети лучше хранит различия между верным и неверным описанием картинки.

Что показали цифры

Главные результаты из работы:

• на трёх бенчмарках при 32B модель равна GPT-4o или превосходит его;
• на VL-RewardBench отрыв составляет 6,6 пункта;
• обучается несколько тысяч параметров, затраты около 1/1000 от файнтюна;
• при равном бюджете пар возмущения дают замороженной голове на 3–5 пунктов больше, чем кураторские пары RLAIF-V;
• рецепт переносится между бенчмарками без повторной настройки.

Поскольку backbone заморожен, задача обучения головы выпуклая. Результат не зависит от удачного старта или случайного шума оптимизации, и его проще воспроизвести.

Бенчмарк не говорит, что именно вы оценили

Самая интересная часть работы относится к самим бенчмаркам. Награду определяет сэмплер возмущений, а не ранг в таблице. Авторы обучили две головы на непересекающихся половинах одних и тех же возмущений. На бенчмарке они дали одинаковый результат. В оценке галлюцинаций они разошлись на 6,4 пункта. Две модели с одной цифрой в лидерборде ведут себя по-разному там, где это важно для продукта.

Есть и обратный пример. Голову переобучили на собственных кандидатах политики, размеченных верификатором. Галлюцинации в подписях по CHAIR упали на 5,1 пункта, доля успешных генераций изображений выросла на 5,4. На всех reward-бенчмарках эта голова при этом показала результат хуже. Рост на целевой задаче сопровождался падением в таблице, потому что таблица измеряла другое.

Практический вывод

Команде, которая делает RLHF или RLAIF для мультимодальной модели, полезно сначала проверить дешёвый вариант: линейный зонд на средних слоях замороженной модели и автоматически сгенерированные пары «оригинал — искажение». Он стоит копейки по сравнению с файнтюном и даёт сильную базовую линию без найма разметчиков. Слой стоит подбирать на небольшой размеченной выборке, это самый чувствительный параметр.

Второй вывод касается оценки. Один бенчмарк не покажет, какое поведение закодировано в награде. Если reward-модель нужна для борьбы с галлюцинациями, её надо проверять отдельно на галлюцинациях и по возможности донастраивать на кандидатах собственной политики с верификатором. Оговорка: все цифры взяты из препринта на arXiv, независимой проверки пока нет, а детали сэмплера возмущений стоит смотреть в полном тексте работы.