EditAgent расширил набор инструментов и обошёл последовательные правки в 78,5% сравнений

Агенты для редактирования изображений обычно работают по схеме «план — правка — оценка»: сложный запрос режется на шаги, а при неудаче шаг повторяют тем же редактором и оценивает его тот же судья, глядя на один результат. Исследователи из UCSD и Adobe Research (работа сделана во время стажировки в Adobe) утверждают, что такой агент упирается в два ограничения: что он умеет делать и что видит его судья. Их система EditAgent расширяет оба пространства, а профессиональные ретушёры в слепом сравнении предпочли её параллельный поиск последовательному уточнению в 78,5% случаев без ничьих.

Где ломается один универсальный редактор

Чтобы измерить проблему, авторы собрали диагностический бенчмарк: 600 наборов по 30 типам правок, по 20 наборов на тип, сгруппированных в шесть категорий. В каждом наборе есть исходник, инструкция и 2–4 кандидата: сэмплы универсального редактора FLUX.2-klein-9B и результаты специализированных методов (локальная правка по маске, удаление объектов, фотометрические операторы). Пятеро профессиональных ретушёров Photoshop вместе отмечали все пригодные варианты.

Результат неприятен для универсальных моделей. Только кандидаты общего редактора оказались годными в 254 наборах (42,3%), только специализированные — в 175 (29,2%), оба типа — в 90 (15,0%), а в 81 наборе (13,5%) не подошёл никто. Раз общий редактор есть в каждом наборе, он провалился в 256 случаях (42,7%), и специализированный метод вытащил 175 из них. Хуже всего универсал справлялся с геометрией, тоном и улучшением снимка.

Простое увеличение числа сэмплов не помогает. Когда один и тот же VLM-судья выбирал лучшее из пула только общего редактора, годная правка получалась в 45,2% наборов. С пулом, куда добавили специализированные методы, — в 68,2%. Из 296 наборов, где пригоден был ровно один из двух выбранных результатов, в 217 он пришёл из расширенного пула.

Параллельный поиск вместо последовательных доработок

Во втором эксперименте при бюджете в четыре генерации сравнили два режима с одним редактором и одним судьёй (Qwen3.8-27B). Последовательное уточнение правит собственный предыдущий результат, на что уходят три вызова обратной связи и один финальный выбор. Параллельный поиск генерирует кандидатов независимо от исходника и требует не более двух вызовов VLM.

На 144 образцах из Complex-Edit (уровни сложности 1, 4 и 8) ретушёры выбрали параллельный вариант 102 раза, последовательный — 28, ещё 14 раз была ничья. Авторы объясняют это накоплением ошибок: при последовательной доработке мелкие дефекты первой итерации переходят в следующие, а параллельные кандидаты всегда стартуют от исходного кадра.

Судья, который видит доказательства

Вторая часть работы касается оценки. Судьи, которые оценивают один результат за раз, оказались нестабильными: ни один из протестированных, включая дообученную модель наград EditScore-72B, не лидирует во всех группах правок. Метрика Winner-Set Hit@1 (доля наборов, где лучший по оценке кандидат входит в число годных) у Qwen3.8-27B в одной из групп лишь на 5,2 пункта выше случайного выбора. Метрика сходства с исходником CLIP-I выигрывает там, где результат почти не меняется, и не лучше случайной там, где правка должна быть заметной.

EditAgent даёт судье проверочную запись для каждого кандидата: карту изменений, крупные планы отредактированной области, измеренные яркость, цвет и геометрию, результаты программных проверок. Судья понимает, что уже подтвердил код, а что остаётся оценить глазами. Кандидатов он сравнивает в одном вызове.

Эффект виден на EditReward-Bench. Модели EditScore дают 65,9–70,3%, а 72B-версия с ансамблем из четырёх проходов — 76,3%. Обычные VLM при поштучной оценке получают 71,7–73,8%, а при сравнении кандидатов в одном вызове — 85,2–86,1%. На диагностическом бенчмарке листовое сравнение подняло Qwen3.8-27B с 71,6% до 73,6%, но в двух группах, где результат мало отличается от исходника, точность упала с 65,0% до 36,8%. Проверочные записи это исправили.

Что ещё показали эксперименты и каковы ограничения

Архитектура включает планировщик, анализатор, привязку к области через VLM и SAM 2.1, а также маршрутизатор. Он выбирает методы: масковая правка, удаление через OSOR, перемещение и масштабирование объектов, фото- и стилевые фильтры, повороты и отражения, зум через кадрирование и суперразрешение или аутпейнтинг. Принятый результат становится исходником следующего шага.

С Qwen-Image-Edit-2511 и FLUX.2-klein-9B в роли базовых редакторов EditAgent улучшил обе модели на трёх бенчмарках, включая EdiVal. Кроме того, 25,7 тысячи принятых сессий пригодились как обучающие данные: редакторы, дообученные на них, превзошли модели, обученные на данных напрямую от FLUX.2-klein-9B.

Ограничения тоже понятны. Диагностический набор небольшой, размечали его пять ретушёров, а в качестве общего редактора там выступает одна модель. Параллельный поиск экономит вызовы судьи, но требует запуска нескольких методов сразу. Для практиков вывод такой: при сбое стоит добавить другой инструмент и дать судье измеримые доказательства. Сложный запрос на правку изображения повторной попыткой с тем же редактором лучше не решать.