MTEdit: 500 тысяч траекторий правок учат модели не терять качество за 8 шагов

Команда исследователей опубликовала MTEdit, датасет для обучения моделей многошаговому редактированию изображений. В нём 500 тысяч траекторий правок: до 8 шагов в каждой, в среднем 5,38. Авторы называют его одним из самых крупных в этой области. Вместе с данными вышел бенчмарк MTEdit-Bench и дообученная модель Qwen-Image-MTEdit, которая по итогам сравнения обошла другие открытые модели.

Почему последовательные правки ломаются

Одношаговое редактирование («замени фон», «добавь шляпу») давно стало стандартной функцией. Реальная работа выглядит иначе: человек двигается итерациями, и каждая новая инструкция опирается на результат предыдущей. Для обучения таких моделей нужны цепочки правок, а собрать их качественно трудно.

Обычный способ — sequential rollout: модель редактирует картинку, на выходе получается новое изображение, к нему применяется следующая инструкция, и так далее. Ошибки при этом накапливаются. К пятому-шестому шагу изображение теряет резкость, плывут текстуры, меняются детали, которые трогать не просили. Авторы называют это дрейфом визуального качества. Если обучать модель на таких цепочках, она учится и дрейфу тоже.

Packed trajectory canvas

В MTEdit эту проблему решает пайплайн на основе packed trajectory canvas (PTC). Вместо того чтобы генерировать каждое состояние отдельным проходом по результату предыдущего, система создаёт несколько состояний правки совместно, в едином визуальном контексте. Согласно описанию, это уменьшает дрейф между шагами: состояния порождаются как согласованный набор, а не как цепочка копий с накапливающимся шумом.

Датасет покрывает два сценария. Первый — пошаговое редактирование, где каждая инструкция самодостаточна. Второй — контекстно-зависимое, где для выполнения правки модели нужно помнить историю предыдущих шагов («верни тот цвет, который был вначале»).

Ключевые параметры работы:

• 500 тысяч траекторий многошагового редактирования;
• до 8 шагов, в среднем 5,38 на траекторию;
• два сценария: пошаговый и контекстно-зависимый;
• бенчмарк MTEdit-Bench оценивает следование инструкциям, сохранение содержимого, устойчивость к дрейфу и использование истории;
• базовая модель — Qwen-Image-Edit-Causal, результат дообучения — Qwen-Image-MTEdit.

Бенчмарк и результаты

MTEdit-Bench построен вокруг четырёх способностей: выполнять инструкции, сохранять содержимое, не деградировать по качеству от шага к шагу и эффективно использовать контекст предыдущих ходов. Последние два пункта как раз то, что у одношаговых тестов остаётся за кадром.

Авторы прогнали по бенчмарку широкий набор закрытых и открытых моделей редактирования. По их данным, Qwen-Image-MTEdit показала лучший результат среди оценённых открытых моделей. Это аргумент в пользу самого датасета: базовая архитектура осталась прежней, изменились только обучающие данные. В тексте аннотации нет численных значений метрик и сказано только про открытые модели, так что оценить отрыв от закрытых систем можно будет лишь по полной статье и таблицам.

Что делать разработчикам

Команде, которая строит редактор изображений с чат-интерфейсом, стоит проверить свою модель не на одном шаге, а на цепочке из пяти-восьми правок. Именно там проявляется дрейф, который одношаговые тесты не показывают. MTEdit-Bench даёт для этого готовую рамку, особенно в части контекстно-зависимых инструкций.

Для тех, кто готовит собственные данные, идея PTC полезна независимо от конкретного датасета: если генерировать связанные состояния совместно, а не звено за звеном, можно сократить накопление артефактов. Перед внедрением нужно дождаться публикации весов и лицензии, а также проверить метрики на своих типах правок: заявленный лидерский результат получен на собственном бенчмарке авторов.