Новый бенчмарк проверяет, подчиняются ли картинки ИИ законам физики

Сгенерированное изображение может набрать высокие оценки по эстетике, соответствию промпту и человеческим предпочтениям. При этом на нём будет рука с лишним суставом, стул, вросший в стол, или тень, которая падает против света. Исследователи, о работе которых сообщает китайское издание Jiqizhixin, называют это слепым пятном оценки text-to-image моделей и предлагают отдельный тест «мировой согласованности». Он должен показывать, подчиняется ли картинка ограничениям реального мира. Из доступного фрагмента публикации не видно ни названия бенчмарка, ни списка проверенных моделей, ни итоговых баллов. Поэтому ниже разобрана сама постановка проблемы, а не результаты.

Где ломаются привычные метрики

Стандартный набор для оценки генерации изображений обычно состоит из трёх частей: эстетическая оценка, согласие с текстовым запросом и модель, имитирующая вкус человека. Все три смотрят на картинку целиком. Их интересует, красиво ли это, о том ли это и понравится ли это людям.

Мелкие физические нарушения при таком подходе легко теряются. Общая композиция хороша, освещение приятное, объекты из промпта на месте. Метрика ставит высокий балл. Зритель же, присмотревшись, замечает, что вилка уходит в тарелку, а у человека на заднем плане три ноги. Авторы работы формулируют вопрос прямо: соответствуют ли объекты, их взаимодействия и пространственные отношения ограничениям реального мира? Систематического измерения для него, по их оценке, не хватает, и потому проблему трудно количественно сравнивать между моделями.

Что предлагается проверять

По описанию, под «согласованностью с миром» понимаются три слоя картинки:

• Объекты. Сохраняют ли они правдоподобную форму и структуру, включая анатомию: искажённые конечности названы в числе типичных ошибок.
• Взаимодействия. Не проникают ли предметы друг в друга и корректно ли они соприкасаются.
• Пространственные отношения. Согласуются ли расположение, масштаб и перекрытия объектов с тем, как устроена реальная сцена.
• Физические явления. Не нарушены ли очевидные законы, которые зритель замечает интуитивно.

Главная идея в том, что это отдельная ось оценки, независимая от красоты и от следования промпту. Модель может быть сильной по первым двум и слабой по третьей. Только измеряя все три, можно увидеть такой разрыв.

Как использовать это на практике

Для команд, которые выбирают или дообучают генеративные модели, вывод простой: одного агрегированного балла недостаточно. Если картинки идут в рекламу, e-commerce, иллюстрации к материалам или в синтетические датасеты, физические артефакты становятся прямым риском. Их замечает покупатель, а в обучающих данных они закрепляются как норма.

В рабочем процессе полезно добавить к автоматическим метрикам хотя бы выборочную ручную проверку по перечисленным слоям: анатомия, контакты предметов, геометрия сцены. Когда такой бенчмарк выйдет в открытом доступе, его стоит прогнать на своих моделях и сравнить с привычными рейтингами. Если порядок моделей поменяется, значит, прежние метрики измеряли не всё, что важно.

Отдельно нужно дождаться полного текста исследования. Пока неизвестно, как устроена разметка, автоматизирована ли оценка и насколько она совпадает с мнением людей. От этого зависит, станет ли тест рабочим стандартом или останется академическим набором примеров.