CogAlign научил Qwen3-VL-4B выбирать лишнее как люди: 53% → 57% совпадений
Нейросеть узнаёт и мышеловку, и спичечный коробок, и трубкозуба, но «лишний» предмет выбирает не так, как человек: при прямом ответе Qwen3-VL совпала с людьми в 37–41% случаев при случайных 33%. Метод CogAlign учит модель признакам, по которым выбирают люди (66 смысловых измерений из 4,7 млн ответов), и поднял совпадение у Qwen3-VL-4B с 53,37% до 56,81%. Список тех же признаков в промпте не помог: нужны примеры с разбором.
AI-обработка оригинала Habr AI; редакция Hamidun News
Покажите человеку мышеловку, спичечный коробок и трубкозуба, и он за пару секунд назовёт лишним трубкозуба: два предмета сделал человек, а третий живой. Мультимодальная нейросеть, то есть модель, которая работает и с картинками, и с текстом, узнаёт все три объекта, но лишний может выбрать по совсем другому признаку. В тесте исследователей модели семейства Qwen3-VL при прямом ответе совпадали с человеческим выбором только в 37–41% случаев, а случайное угадывание в задаче с тремя вариантами даёт 33,3%.
Метод CogAlign, о котором идёт речь, дообучает модель на признаках, по которым выбирают люди. В результате доля совпадений с людьми у Qwen3-VL-4B выросла с 53,37% (обычная цепочка рассуждений) до 56,81%. Для разработчиков это сигнал: если продукт группирует товары, модерирует изображения или ищет похожее, то модель, которая «видит» мир иначе, чем пользователь, будет ошибаться там, где человеку всё очевидно.
Почему обычная настройка не решает проблему
Обычно модели «выравнивают» (alignment) методами RLHF, где люди оценивают ответы, а по этим оценкам обучается отдельная модель вознаграждения, или DPO, где модель учится сразу на парах из удачного и отклонённого ответа. Это хорошо отучает бота грубить и приучает его к аккуратному формату. Но совпадение итогового ответа с человеческим ничего не говорит о пути к нему. Модель могла заметить, что два предмета сделаны из металла. А могла просто угадать, потому что похожие картинки в обучающих данных чаще встречались в определённом контексте. Авторы работы Aligning MLLMs with the Latent Structure of Human Cognition предлагают учить модель не только ответу, но и основанию выбора.
Откуда взялись 66 признаков
Основа — проект THINGS: 1854 понятия реальных предметов и крупный эксперимент в формате «Третий лишний». Людям показывали три картинки и просили выбрать ту, что меньше всего похожа на две другие. Набралось около 4,7 млн человеческих суждений. Алгоритм SPoSE разместил предметы в многомерном пространстве и выделил 66 понятных человеку измерений: еда, животные, текстиль, электроника, транспорт, растения, круглые предметы, пушистые и мягкие вещи, оружие и опасность, медицина. Мышеловка получает высокий балл по измерению «металлическое или искусственное», трубкозуб — по измерению «животное». Это не 66 переключателей в мозге, а математическая модель, построенная на ответах людей.
Как устроено обучение
CogAlign работает в три этапа. Сначала для каждой тройки картинок метод Jackknife по очереди убирает по одному измерению и смотрит, как меняется шанс, что оставшаяся пара окажется самой похожей. Измерение с самым сильным эффектом становится главным признаком, например «создан человеком». Затем обычная LLM превращает этот признак в связное объяснение; правильный ответ она не ищет, а получает готовый критерий. Наконец, мультимодальную модель дообучают на готовых примерах (SFT). В набор вошло 309 329 примеров: около 80 тысяч когнитивных задач THINGS, а остальные — распознавание изображений, сторителлинг, поиск различий и другие задания, чтобы модель не стала узким специалистом по поиску лишнего.
Результаты и подводные камни
Проверка шла на 453 642 тройках изображений. Для Qwen3-VL-4B совпадение составило 41,48% при прямом ответе, 53,37% с обычной цепочкой рассуждений и 56,81% после CogAlign. Для 8B цифры такие: 40,46%, 52,28% и 56,99%. Для 30B-A3B на архитектуре Mixture of Experts: 37,09%, 55,38% и 56,21%. Специальная модель Centaur на 70 млрд параметров, обученная на данных о человеческом поведении, набрала 51,96%, и все три Qwen3-VL после CogAlign её обошли. На выборке примерно из 75,6 тысячи заданий Qwen2.5-VL-7B улучшилась с 56,63% до 59,29%, а Gemma3-12B — с 55,77% до 57,28%.
Самый практичный результат касается промптов. Если вставить в системный промпт все 66 измерений, Qwen3-VL-4B набирает 52,70% против 53,37% с обычной цепочкой рассуждений. При рассуждении через одно выбранное измерение точность падает до 49,01%. Модели нередко зацикливались: перечисляли, что трубкозуб не металлический, не искусственный, не плоский и не зелёный, пока не заканчивались токены. Каждый факт верен, но к задаче почти не относится. Если заменить полные объяснения короткими метками измерений, результат падает до 42,81%.
Универсального прироста нет. На MMMU результаты выросли у всех трёх версий Qwen3-VL, а на MMBench у модели 4B точность снизилась с 82,96% до 81,39%. Кроме того, среди 66 измерений есть стереотипно женственные и стереотипно мужественные признаки, поэтому такие данные стоит проверять перед использованием.
Вывод для команд, которые настраивают мультимодальные модели: если нужно, чтобы модель выбирала «как человек», длинный список правил в промпте может не помочь, а то и навредить. Надёжнее дообучать на примерах, где к каждому ответу приложено объяснение, и смешивать их с обычными задачами, чтобы сохранить общие навыки.
- 9 окт. 2026 г.Агенты на Qwen3.6-27B и Qwen3-4B не укладываются в тайм-бюджет без подсказок harness
- 28 окт. 2026 г.Qwen 3.8 уводили запросы на прокси Alibaba Cloud: до 4% сбоев в тестах
- 6 нояб. 2026 г.GPT-6 Astra правкой 0,016% весов подняла точность Qwen3.5-0.8B на MATH-500 с 7,9% до 48,1%
- 27 окт. 2026 г.WebAnything сам копирует 244 сайта для обучения веб-агентов
Вопросы и ответы по материалу
Что известно по теме: почему обычная настройка не решает проблему?
Обычно модели «выравнивают» (alignment) методами RLHF, где люди оценивают ответы, а по этим оценкам обучается отдельная модель вознаграждения, или DPO, где модель учится сразу на парах из удачного и отклонённого ответа. Это хорошо отучает бота грубить и приучает его к аккуратному формату. Но совпадение итогового ответа с человеческим ничего не говорит о пути к нему. Модель могла заметить, что два предмета сделаны из металла.
Что известно по теме: откуда взялись 66 признаков?
Основа — проект THINGS: 1854 понятия реальных предметов и крупный эксперимент в формате «Третий лишний». Людям показывали три картинки и просили выбрать ту, что меньше всего похожа на две другие. Набралось около 4,7 млн человеческих суждений. Алгоритм SPoSE разместил предметы в многомерном пространстве и выделил 66 понятных человеку измерений: еда, животные, текстиль, электроника, транспорт, растения, круглые предметы, пушистые и мягкие вещи, оружие и опасность, медицина.
Что известно по теме: как устроено обучение?
CogAlign работает в три этапа. Сначала для каждой тройки картинок метод Jackknife по очереди убирает по одному измерению и смотрит, как меняется шанс, что оставшаяся пара окажется самой похожей. Измерение с самым сильным эффектом становится главным признаком, например «создан человеком». Затем обычная LLM превращает этот признак в связное объяснение; правильный ответ она не ищет, а получает готовый критерий. Наконец, мультимодальную модель дообучают на готовых примерах (SFT).
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.