Исследователи выложили датасет из 100 тысяч статей с картинками и тест из 7 метрик

Когда ИИ-модель отвечает на запрос «объясни, как приготовить ризотто», хороший ответ состоит не из одного текста. Нужны шаги и фотографии, показывающие, как выглядит рис на каждом этапе. Такие модели называют унифицированными мультимодальными: они умеют и писать, и рисовать. Но чередовать текст и картинки внутри одного ответа (в статье это называют interleaved generation) почти никто системно не проверял. Исследователи из Нанкинского университета, Meituan, Imperial College London и Наньянского технологического университета выпустили IntReal. Это набор данных из 100 000 реальных примеров с 538 452 картинками и бенчмарк с семью метриками, которые показывают, в чём именно модель слаба.

Откуда взяли данные и почему выбросили 90%

Авторы собрали больше миллиона сырых примеров из семи источников, которые разрешают публичный сбор и распространение. По роли текста и картинок материалы разложили на четыре категории:

• планирование: решения под конкретные цели и ограничения, например маршрут путешествия с картами и фото; • знания: энциклопедические статьи, где картинка привязывает абстрактное понятие к реальному объекту; • инструкции: кулинарные и прочие туториалы, где картинки показывают промежуточные состояния; • истории: повествование, где картинки создают героев и сцены (идея навеяна проектом SEED-Story).

Дальше шла чистка в четыре этапа. Сначала отсеяли картинки с нелепыми пропорциями, низким разрешением и неподдерживаемым форматом. Потом модель оценки качества RALI убрала плохие изображения, а дообученные классификаторы на базе SigLIP2 нашли водяные знаки и лица. Модель DINOv3 удалила почти одинаковые картинки внутри одного примера. На третьем этапе языковая модель Qwen3.5-397B-A17B написала подписи к картинкам и подправила окружающий текст. Исходный текст при этом имеет приоритет над сгенерированным, чтобы не терять факты. На четвёртом она составила для каждого примера запрос и ход рассуждений, чтобы данные можно было сразу использовать для дообучения.

Один брак в длинном примере выбрасывает весь пример. Поэтому в итоге осталось примерно 10% собранного, а категории выровняли по объёму.

Семь метрик вместо одной оценки «в целом»

Обычно длинный ответ с картинками отдают на оценку одной мультимодальной модели-судье. Авторы считают, что так нельзя понять, где модель ошибается, и что судья-универсал не всегда компетентен в частностях. В IntReal для каждого навыка свой эксперт.

Тест строится на 600 примерах из датасета, по 150 на категорию. Для каждого модель проходит два режима. В первом она с нуля генерирует весь ответ целиком. Во втором ей дают реальный контекст из текста и картинок и просят нарисовать следующую картинку. На одну модель уходит больше 6 000 сгенерированных картинок в окружении текста, поэтому набор намеренно сделали компактным.

Семь метрик:

• богатство текста: языковая модель попарно сравнивает ответ с реальным текстом; • фактическая точность: та же модель ищет ошибки, противоречия и логические дыры; • эстетика картинок: модель оценки качества изображений; • повторы: сходство признаков DINO у соседних картинок, слишком высокое значит «нарисовала одно и то же»; • число картинок: модель должна выдать столько же иллюстраций, сколько в реальном образце; • согласованность с контекстом: мультимодальная модель проверяет, выполнены ли визуальные требования, выведенные заранее из предыдущего текста и картинок; • постоянство объекта: сходство с эталоном по DINO, чтобы герой истории или ингредиент рецепта не менялись от кадра к кадру. Считается только для историй и инструкций.

Проверка самого теста: максимальная попарная корреляция Спирмена между метриками ниже 0,42, значит, они меряют разное. С оценкой людей совпадение 83,3%. При смене моделей-экспертов результаты согласуются с корреляцией выше 0,9.

Что показали эксперименты

Авторы сравнили четыре семейства моделей. У одной открытый чекпойнт не умеет чередовать текст и картинки сам, поэтому её оценивали только после дообучения на IntReal-100K. Другая умеет, но способов дообучения не выпустила, и её взяли как есть. Третья, SenseNova-U1, поддерживает оба сценария, и у неё два варианта: 8B-MoT и A3B-MoT. Генерирующая ветка у обоих на 8 млрд параметров, а блок понимания либо на 8 млрд, либо на 30 млрд с архитектурой смеси экспертов. Четвёртая модель закрытая, доступна через API.

Обычное дообучение с учителем на IntReal-100K улучшило генерацию текста у SenseNova-U1, но ухудшило часть показателей картинок. Это старая проблема таких моделей: текст и изображения тянут веса в разные стороны.

Лекарство нашлось неожиданное. Авторы применили Flow-GRPO, метод обучения с подкреплением для генерирующих моделей, только к задаче «нарисуй следующую картинку по контексту». Метрики IntReal служили наградой. Это вернуло потерянное качество картинок, и модель получила лучший общий балл среди открытых моделей теста.

Практический вывод для инженеров: не обязательно учить текст и картинки вместе на каждом этапе. Можно оптимизировать одну модальность и получить выигрыш в смешанных ответах. Для команд, которые делают ИИ-помощников для туториалов, путеводителей и обучающих материалов, IntReal даёт готовый набор данных и диагностический тест, чтобы видеть, где именно модель ломается.