Судья EditAgent от Adobe выбирает годную правку в 81,3% случаев против 74,8% у EditScore

Исследователи из Adobe Research и Калифорнийского университета в Сан-Диего представили EditAgent — агента для редактирования изображений, который работает ближе к профессионалу в Photoshop, чем прежние системы. Он разбивает запрос на зависимые шаги, для каждого шага выбирает подходящий инструмент и сравнивает результат с оригиналом по измеренным данным. Главный результат — в роли судьи. На бенчмарке из 600 правок, где пять профессионалов вслепую оценивали результаты, обычная модель Qwen3.8-27B без дообучения выбрала из кандидатов вариант, который профессионалы тоже признали пригодным, в 81,3% случаев. Лучшая из специально обученных моделей, EditScore-72B (её дообучали на человеческих оценках правок), добилась 74,8%.

Почему универсальный редактор подводит

Большинство агентов для правки изображений устроены просто: сложный запрос режется на шаги, неудачный шаг повторяют тем же редактором, а отдельная модель оценивает итог на глаз. Авторы показали, что эта схема упирается в потолок. В тесте на 600 правок универсальный редактор Flux-2-Klein-9B не выдал пригодный результат в 42,7% случаев. Узкие инструменты — для повышения резкости, поворота и приближения — закрыли примерно две трети таких провалов. Повторные попытки тем же редактором почти ничего не давали.

Вторая находка касается порядка работы. Итеративное улучшение накапливает мелкие ошибки: каждый круг строится на уже изменённой картинке. Параллельная генерация вариантов из исходного изображения оказалась лучше: в сравнениях, где профессионалы выбирали сторону, они предпочли параллельные варианты в 78,5% случаев. Агенту при этом хватало вдвое меньшего числа проходов оценки. На этих двух выводах и построен EditAgent.

Судья, которому показали цифры

Для каждого шага агент сталкивает универсальный редактор с профильными инструментами и получает несколько кандидатов. Затем обычная LLM сравнивает все варианты за один проход. Но смотрит она не только на картинку целиком. На каждый вариант собирают проверочную запись: крупный план изменённой области, карту изменений и измеренную статистику по яркости и цвету. В примере из статьи фото нужно было слегка осветлить. Цифры показали, что универсальный редактор пересветил снимок и сдвинул цвета в тёплую сторону, а специализированный инструмент уложился в заданные рамки. По полному кадру модель такие ошибки пропускает.

Для сравнения исследователи взяли модели вроде EditScore, дообученные на человеческих оценках правок. Без проверочной записи ни одна из семи протестированных LLM не дотянула до лучшей дообученной модели. С ней все семь обошли каждую из них. Авторы делают вывод: то, что видит судья, может влиять сильнее, чем то, как он обучен.

После каждого раунда агент ещё проверяет, не отменили ли поздние правки ранние. В примере из статьи просьба «впустить больше дневного света» снова сделала прозрачным окно, которое до этого было матовым. Агент замечает конфликт и исправляет его.

Десятикратная цена и обучающие данные

EditAgent улучшил открытые редакторы Qwen-Image-Edit-2511 и Flux-2-Klein-9B на трёх бенчмарках и опередил семь других агентов. На бенчмарке EdiVal вариант на базе Qwen в третьем раунде правок слегка обошёл коммерческие Seedream 4.0 и GPT-Image-1.5. Ограничения авторы называют прямо: агенту нужно примерно в десять раз больше вычислений, чем одному редактору, а качество зависит от набора подключённых инструментов.

Часть затрат может окупиться. Агент сохраняет только проверенные результаты, поэтому из его работы получилось около 26 000 обучающих примеров. Редакторы, дообученные на этих данных, стали лучше на всех трёх бенчмарках. Данные, сгенерированные самим FLUX, наоборот, ухудшили FLUX. Так дорогой агент можно использовать как фабрику данных для быстрых моделей.

Для Adobe это не академический вопрос. В июне компания добавила ИИ-агентов в Photoshop, Premiere и другие приложения Creative Cloud в формате публичной беты: пользователь описывает задачу, агент выполняет шаги. Выбор инструмента и проверка собственного результата — именно то, на чём такие продукты выигрывают или проваливаются. Оговорка: Black Forest Labs уже заменила модель, на которой шли тесты. Новая Flux 3 Image Klein содержит 5,6 млрд параметров, меньше, чем Flux 2 Klein, но по внутренним тестам компании обходит все другие открытые модели и даже коммерческую Flux 2 Pro.