Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

CogAlign научил Qwen3-VL-4B выбирать лишнее как люди: 53% → 57% совпадений

Нейросеть узнаёт и мышеловку, и спичечный коробок, и трубкозуба, но «лишний» предмет выбирает не так, как человек: при прямом ответе Qwen3-VL совпала с людьми в 37–41% случаев при случайных 33%. Метод CogAlign учит модель признакам, по которым выбирают люди (66 смысловых измерений из 4,7 млн ответов), и поднял совпадение у Qwen3-VL-4B с 53,37% до 56,81%. Список тех же признаков в промпте не помог: нужны примеры с разбором.

AI-обработка оригинала Habr AI; редакция Hamidun News
CogAlign научил Qwen3-VL-4B выбирать лишнее как люди: 53% → 57% совпадений
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Список из 66 признаков в промпте дал 52,70% против 53,37% без него
Ключевой факт #2Centaur на 70 млрд параметров набрал 51,96% — ниже всех трёх Qwen3-VL
Ключевой факт #3На MMBench точность 4B просела с 82,96% до 81,39%

Покажите человеку мышеловку, спичечный коробок и трубкозуба, и он за пару секунд назовёт лишним трубкозуба: два предмета сделал человек, а третий живой. Мультимодальная нейросеть, то есть модель, которая работает и с картинками, и с текстом, узнаёт все три объекта, но лишний может выбрать по совсем другому признаку. В тесте исследователей модели семейства Qwen3-VL при прямом ответе совпадали с человеческим выбором только в 37–41% случаев, а случайное угадывание в задаче с тремя вариантами даёт 33,3%.

Метод CogAlign, о котором идёт речь, дообучает модель на признаках, по которым выбирают люди. В результате доля совпадений с людьми у Qwen3-VL-4B выросла с 53,37% (обычная цепочка рассуждений) до 56,81%. Для разработчиков это сигнал: если продукт группирует товары, модерирует изображения или ищет похожее, то модель, которая «видит» мир иначе, чем пользователь, будет ошибаться там, где человеку всё очевидно.

Почему обычная настройка не решает проблему

Обычно модели «выравнивают» (alignment) методами RLHF, где люди оценивают ответы, а по этим оценкам обучается отдельная модель вознаграждения, или DPO, где модель учится сразу на парах из удачного и отклонённого ответа. Это хорошо отучает бота грубить и приучает его к аккуратному формату. Но совпадение итогового ответа с человеческим ничего не говорит о пути к нему. Модель могла заметить, что два предмета сделаны из металла. А могла просто угадать, потому что похожие картинки в обучающих данных чаще встречались в определённом контексте. Авторы работы Aligning MLLMs with the Latent Structure of Human Cognition предлагают учить модель не только ответу, но и основанию выбора.

Откуда взялись 66 признаков

Основа — проект THINGS: 1854 понятия реальных предметов и крупный эксперимент в формате «Третий лишний». Людям показывали три картинки и просили выбрать ту, что меньше всего похожа на две другие. Набралось около 4,7 млн человеческих суждений. Алгоритм SPoSE разместил предметы в многомерном пространстве и выделил 66 понятных человеку измерений: еда, животные, текстиль, электроника, транспорт, растения, круглые предметы, пушистые и мягкие вещи, оружие и опасность, медицина. Мышеловка получает высокий балл по измерению «металлическое или искусственное», трубкозуб — по измерению «животное». Это не 66 переключателей в мозге, а математическая модель, построенная на ответах людей.

Как устроено обучение

CogAlign работает в три этапа. Сначала для каждой тройки картинок метод Jackknife по очереди убирает по одному измерению и смотрит, как меняется шанс, что оставшаяся пара окажется самой похожей. Измерение с самым сильным эффектом становится главным признаком, например «создан человеком». Затем обычная LLM превращает этот признак в связное объяснение; правильный ответ она не ищет, а получает готовый критерий. Наконец, мультимодальную модель дообучают на готовых примерах (SFT). В набор вошло 309 329 примеров: около 80 тысяч когнитивных задач THINGS, а остальные — распознавание изображений, сторителлинг, поиск различий и другие задания, чтобы модель не стала узким специалистом по поиску лишнего.

Результаты и подводные камни

Проверка шла на 453 642 тройках изображений. Для Qwen3-VL-4B совпадение составило 41,48% при прямом ответе, 53,37% с обычной цепочкой рассуждений и 56,81% после CogAlign. Для 8B цифры такие: 40,46%, 52,28% и 56,99%. Для 30B-A3B на архитектуре Mixture of Experts: 37,09%, 55,38% и 56,21%. Специальная модель Centaur на 70 млрд параметров, обученная на данных о человеческом поведении, набрала 51,96%, и все три Qwen3-VL после CogAlign её обошли. На выборке примерно из 75,6 тысячи заданий Qwen2.5-VL-7B улучшилась с 56,63% до 59,29%, а Gemma3-12B — с 55,77% до 57,28%.

Самый практичный результат касается промптов. Если вставить в системный промпт все 66 измерений, Qwen3-VL-4B набирает 52,70% против 53,37% с обычной цепочкой рассуждений. При рассуждении через одно выбранное измерение точность падает до 49,01%. Модели нередко зацикливались: перечисляли, что трубкозуб не металлический, не искусственный, не плоский и не зелёный, пока не заканчивались токены. Каждый факт верен, но к задаче почти не относится. Если заменить полные объяснения короткими метками измерений, результат падает до 42,81%.

Универсального прироста нет. На MMMU результаты выросли у всех трёх версий Qwen3-VL, а на MMBench у модели 4B точность снизилась с 82,96% до 81,39%. Кроме того, среди 66 измерений есть стереотипно женственные и стереотипно мужественные признаки, поэтому такие данные стоит проверять перед использованием.

Вывод для команд, которые настраивают мультимодальные модели: если нужно, чтобы модель выбирала «как человек», длинный список правил в промпте может не помочь, а то и навредить. Надёжнее дообучать на примерах, где к каждому ответу приложено объяснение, и смешивать их с обычными задачами, чтобы сохранить общие навыки.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему обычная настройка не решает проблему?

Обычно модели «выравнивают» (alignment) методами RLHF, где люди оценивают ответы, а по этим оценкам обучается отдельная модель вознаграждения, или DPO, где модель учится сразу на парах из удачного и отклонённого ответа. Это хорошо отучает бота грубить и приучает его к аккуратному формату. Но совпадение итогового ответа с человеческим ничего не говорит о пути к нему. Модель могла заметить, что два предмета сделаны из металла.

Что известно по теме: откуда взялись 66 признаков?

Основа — проект THINGS: 1854 понятия реальных предметов и крупный эксперимент в формате «Третий лишний». Людям показывали три картинки и просили выбрать ту, что меньше всего похожа на две другие. Набралось около 4,7 млн человеческих суждений. Алгоритм SPoSE разместил предметы в многомерном пространстве и выделил 66 понятных человеку измерений: еда, животные, текстиль, электроника, транспорт, растения, круглые предметы, пушистые и мягкие вещи, оружие и опасность, медицина.

Что известно по теме: как устроено обучение?

CogAlign работает в три этапа. Сначала для каждой тройки картинок метод Jackknife по очереди убирает по одному измерению и смотрит, как меняется шанс, что оставшаяся пара окажется самой похожей. Измерение с самым сильным эффектом становится главным признаком, например «создан человеком». Затем обычная LLM превращает этот признак в связное объяснение; правильный ответ она не ищет, а получает готовый критерий. Наконец, мультимодальную модель дообучают на готовых примерах (SFT).

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…