ACEdit учит редактор изображений работать на своих ошибках без деградации

Редакторы изображений по текстовой инструкции хорошо справляются с одной правкой, но в диалоге из нескольких шагов качество постепенно разваливается: появляются артефакты, плывут детали, теряются элементы исходной сцены. Авторы статьи ACEdit, попавшей в Hugging Face Daily Papers, предлагают схему обучения, в которой студент редактирует собственные результаты предыдущих шагов, а учитель всегда смотрит на исходное чистое изображение и получает составную инструкцию. В аннотации заявлено «существенное снижение деградации» на длинных последовательностях. Конкретных цифр там нет.

Откуда берётся деградация

Механика проблемы простая. Редактор обучают на парах «исходная картинка плюс инструкция → результат». На вход он при этом всегда получает чистое, реальное или хорошо сгенерированное изображение. В многошаговом сценарии на втором ходу ему подаётся уже его собственный выход, со слегка сдвинутой текстурой, цветом и резкостью. Это небольшой сдвиг распределения, но на каждом шаге он добавляется к предыдущим. К пятому-десятому ходу модель работает на данных, которых никогда не видела.

В языковых и видеомоделях это называется exposure bias. Self-Forcing, на который ссылаются авторы, лечит его тем, что на обучении модель вынуждают продолжать от собственных выходов, а не от эталона. ACEdit переносит этот принцип в редактирование изображений.

Почему нельзя просто обучать на своих выходах

У такого переноса есть препятствие. Когда студент идёт по собственной траектории, она расходится с эталонной. Готового правильного ответа для картинки, которую модель получила после трёх своих правок, в датасете нет. Прямое обучение с учителем по меткам становится ненадёжным.

Авторы решают это дистилляцией. Модель-учитель, то есть сильный одношаговый редактор, выдаёт обучающий сигнал для случаев, когда студент стартует от собственных предыдущих результатов. Ключевое решение здесь — асимметричное кондиционирование:

• студент последовательно редактирует свои же выходы, как будет делать при реальном использовании;
• учитель остаётся привязанным к исходному чистому изображению;
• вместо цепочки отдельных команд учитель получает одну составную инструкцию, объединяющую все правки до текущего шага.

Учитель не накапливает ошибок, потому что никогда не видит промежуточных результатов студента. Студент при этом учится приходить к тому же итогу, но стартуя с «испорченного» входа.

Что заявлено в экспериментах

Из аннотации известно следующее:

• Задача: стабильное многошаговое редактирование изображений по инструкции.
• Метод: обучение на собственных выходах плюс дистилляция из учителя.
• Условия студента: последовательные правки по собственным результатам.
• Условия учителя: исходное чистое изображение и составная инструкция.
• Результат: заметно меньшая деградация на длинных последовательностях.
• Побочные эффекты: качество отдельных правок и следование инструкциям сохраняются.

Метрики, названия базовых моделей, размеры датасетов и длина проверенных цепочек в тексте аннотации не раскрыты. Оценить масштаб эффекта можно будет только по полной статье и таблицам.

Где это пригодится

Многошаговое редактирование — основной сценарий для продуктов, где пользователь ведёт диалог с картинкой: дизайн-инструменты, генерация рекламных макетов, e-commerce, фоторедакторы с чат-интерфейсом. Сегодня практический обход состоит в том, чтобы всегда редактировать от оригинала с накопленным промптом или периодически «сбрасывать» результат. Это ломает ощущение диалога и усложняет интерфейс.

Если заявления подтвердятся, команды, которые дообучают собственные редакторы, получат относительно недорогой рецепт: он требует сильного учителя, но не требует новых размеченных траекторий. Что проверить в первую очередь после публикации кода или весов: на какой длине цепочки базовая модель начинает ломаться, сколько стоит дополнительная стадия обучения и сохраняется ли эффект при смене стиля правок, например при переходе от локальных изменений к глобальным. Пока это хорошая инженерная идея с подтверждением на уровне аннотации, и до проверки на независимых бенчмарках выводы стоит делать осторожные.