LayerEditor учит редактор изображений отдавать результат в RGBA-слоях

Команда исследователей опубликовала LayerEditor, единую систему, в которой редактирование изображения по текстовой инструкции и генерация переиспользуемых RGBA-слоёв решаются одной моделью. На выходе получается и готовый отредактированный холст, и упорядоченный стек слоёв с альфа-каналом, из которого этот холст собран. Для обучения авторы создали датасет LayerEditor-100K, около ста тысяч парных примеров правок с разметкой слоёв, а для проверки результата предложили специальные бенчмарки слойного редактирования.

Почему плоский результат мешает работать

Современные редакторы изображений по инструкции хорошо понимают запрос вроде «замени куртку на красную» или «убери человека справа». Но отдают они обычный растр. Любая следующая правка снова требует перегенерации, а вместе с ней растёт риск, что поплывут области, которые менять никто не просил. Дизайнеру нужен другой результат: фон отдельно, объект отдельно, текст или тень на своих слоях.

Методы декомпозиции решают обратную задачу, то есть раскладывают готовую картинку на слои. Но, как отмечают авторы, они обычно оптимизируются отдельно от редактирования по инструкции. В итоге есть два инструмента, которые плохо стыкуются: один правит, второй режет на части.

Один поток токенов для холста и слоёв

В основе LayerEditor лежит In-Context RGB-Alpha Token Modeling. Отредактированный холст и упорядоченная последовательность RGB-Alpha слоёв представлены в единой последовательности токенов. Модель видит их как общий контекст, поэтому семантическая правка и содержимое каждого слоя согласуются между собой. Порядок слоёв задан явно, а значит, можно управлять тем, что окажется на переднем плане, а что в глубине сцены.

Главный риск такого подхода понятен: при адаптации предобученной модели под слоистый выход легко потерять то, что она уже умела в редактировании. Для этого предложена Compositional Edit-Prior Distillation. Редакторский приор исходной модели переносится сразу на две цели: на сам отредактированный холст и на изображение, которое собрано из предсказанных слоёв. Проверяется не только то, что холст получился хорошим. Композит из слоёв тоже должен выглядеть как корректная правка.

Данные и режимы работы

Без разметки слоёв такую систему не обучить, поэтому авторы собрали LayerEditor-100K. Это крупный парный датасет редактирования изображений, где у каждого примера есть упорядоченные RGBA-слои. Рядом с ним представлены бенчмарки, которые оценивают именно слойное редактирование, а не только качество финальной картинки.

Ключевые характеристики:

• Задача: правка изображения по инструкции плюс генерация переиспользуемых RGBA-слоёв
• Представление: холст и упорядоченные слои в одной токенной последовательности
• Обучение: Compositional Edit-Prior Distillation для холста и композита из слоёв
• Данные: LayerEditor-100K, около 100 тысяч пар с аннотацией слоёв
• Оценка: специальные бенчмарки для слойного редактирования
• Режимы: манипуляции на уровне отдельных слоёв и многослойная декомпозиция

По заявлению авторов, система сохраняет высокую точность редактирования и при этом выдаёт аккуратные RGBA-слои.

Где это пригодится на практике

Ближайший сценарий связан с дизайн-пайплайнами. Если генеративная правка возвращает слои, результат можно открыть в графическом редакторе и доработать вручную, не пересобирая сцену с нуля. Для e-commerce это замена фона или цвета товара без потери вырезанного объекта. Для разработчиков игр и рекламных шаблонов это способ получать спрайты и элементы композиции, которые можно анимировать или переставлять.

Перед внедрением стоит проверить три вещи. Первая: как модель справляется с полупрозрачными краями, волосами, стеклом и тенями, где альфа-канал сложнее всего. Вторая: насколько стабилен порядок слоёв в сценах с плотными перекрытиями. Третья: будут ли открыты код, веса и датасет. От этого зависит, станет ли LayerEditor основой для чужих инструментов. Если да, LayerEditor-100K и сопутствующие бенчмарки могут стать общим стандартом для сравнения слойных редакторов, которого сейчас в этой нише не хватает.