EditAgent élargit sa boîte à outils et l'emporte sur les retouches séquentielles dans 78,5 % des comparaisons

Les agents d'édition d'images suivent généralement le schéma « planifier, éditer, évaluer » : une requête complexe est découpée en étapes et, en cas d'échec, la même étape est refaite par le même éditeur, puis jugée par le même juge, qui n'examine qu'un seul résultat. Des chercheurs de l'UCSD et d'Adobe Research (le travail a été réalisé pendant un stage chez Adobe) affirment qu'un tel agent se heurte à deux limites : ce qu'il sait faire et ce que voit son juge. Leur système, EditAgent, élargit les deux espaces, et des retoucheurs professionnels ont préféré, en comparaison à l'aveugle, sa recherche parallèle à l'affinage séquentiel dans 78,5 % des cas, sans égalité.

Là où un éditeur généraliste unique échoue

Pour mesurer le problème, les auteurs ont constitué un benchmark de diagnostic : 600 jeux couvrant 30 types de retouches, à raison de 20 jeux par type, regroupés en six catégories. Chaque jeu comprend l'image source, une consigne et 2 à 4 candidats : des échantillons de l'éditeur généraliste FLUX.2-klein-9B et des résultats de méthodes spécialisées (édition locale par masque, suppression d'objets, opérateurs photométriques). Cinq retoucheurs professionnels de Photoshop ont ensemble désigné toutes les variantes exploitables.

Le résultat n'est pas flatteur pour les modèles généralistes. Seuls les candidats de l'éditeur généraliste étaient exploitables dans 254 jeux (42,3 %), seuls les spécialisés dans 175 (29,2 %), les deux types dans 90 (15,0 %), et dans 81 jeux (13,5 %) personne n'a convenu. Comme l'éditeur généraliste figure dans chaque jeu, il a échoué dans 256 cas (42,7 %), et une méthode spécialisée en a sauvé 175. Le généraliste s'en sortait le plus mal en géométrie, en tonalité et en amélioration de photo.

Augmenter simplement le nombre d'échantillons n'aide pas. Lorsque le même juge VLM choisissait le meilleur résultat dans un pool composé uniquement de l'éditeur généraliste, une retouche exploitable était obtenue dans 45,2 % des jeux. Avec un pool enrichi de méthodes spécialisées, ce taux passait à 68,2 %. Sur 296 jeux où exactement l'un des deux résultats choisis était exploitable, il provenait du pool élargi dans 217 cas.

Recherche parallèle plutôt qu'affinages séquentiels

Dans une deuxième expérience, avec un budget de quatre générations, les auteurs ont comparé deux modes avec un seul éditeur et un seul juge (Qwen3.8-27B). L'affinage séquentiel corrige son propre résultat précédent, ce qui mobilise trois appels de retour d'information et un choix final. La recherche parallèle génère les candidats indépendamment à partir de la source et nécessite au plus deux appels au VLM.

Sur 144 échantillons de Complex-Edit (niveaux de difficulté 1, 4 et 8), les retoucheurs ont choisi la variante parallèle 102 fois, la séquentielle 28 fois, avec 14 égalités. Les auteurs expliquent ce résultat par l'accumulation des erreurs : dans l'affinage séquentiel, les petits défauts de la première itération se transmettent aux suivantes, alors que les candidats parallèles partent toujours de l'image d'origine.

Un juge qui voit les preuves

La seconde partie du travail porte sur l'évaluation. Les juges qui notent un résultat à la fois se sont révélés instables : aucun de ceux testés, y compris le modèle de récompense affiné EditScore-72B, ne domine dans tous les groupes de retouches. La métrique Winner-Set Hit@1 (la part des jeux où le candidat le mieux noté figure parmi les exploitables) de Qwen3.8-27B n'est, dans l'un des groupes, supérieure que de 5,2 points à un choix aléatoire. La métrique de similarité avec la source CLIP-I l'emporte lorsque le résultat change à peine, et ne fait pas mieux que le hasard lorsque la retouche doit être visible.

EditAgent fournit au juge un dossier de vérification pour chaque candidat : carte des changements, gros plans de la zone modifiée, luminosité, couleur et géométrie mesurées, résultats de contrôles programmatiques. Le juge sait ainsi ce que le code a déjà confirmé et ce qu'il reste à évaluer à l'œil. Il compare les candidats en un seul appel.

L'effet se voit sur EditReward-Bench. Les modèles EditScore obtiennent 65,9–70,3 %, et la version 72B avec un ensemble de quatre passes atteint 76,3 %. Les VLM ordinaires, en notation individuelle, font 71,7–73,8 %, et 85,2–86,1 % lorsqu'ils comparent les candidats en un seul appel. Sur le benchmark de diagnostic, la comparaison en liste a fait passer Qwen3.8-27B de 71,6 % à 73,6 %, mais dans deux groupes où le résultat diffère peu de la source, la précision est tombée de 65,0 % à 36,8 %. Les dossiers de vérification ont corrigé ce défaut.

Ce que les expériences ont montré d'autre, et les limites

L'architecture comprend un planificateur, un analyseur, un ancrage sur la zone via un VLM et SAM 2.1, ainsi qu'un routeur. Celui-ci choisit les méthodes : édition par masque, suppression via OSOR, déplacement et mise à l'échelle d'objets, filtres photo et de style, rotations et symétries, zoom par recadrage et super-résolution ou outpainting. Le résultat accepté devient la source de l'étape suivante.

Avec Qwen-Image-Edit-2511 et FLUX.2-klein-9B comme éditeurs de base, EditAgent a amélioré les deux modèles sur trois benchmarks, dont EdiVal. En outre, 25,7 mille sessions acceptées ont servi de données d'entraînement : les éditeurs affinés dessus ont surpassé les modèles entraînés sur des données issues directement de FLUX.2-klein-9B.

Les limites sont également claires. Le jeu de diagnostic est modeste, annoté par cinq retoucheurs, et l'éditeur généraliste y est un seul modèle. La recherche parallèle économise des appels au juge, mais impose de lancer plusieurs méthodes à la fois. Pour les praticiens, la leçon est la suivante : en cas d'échec, mieux vaut ajouter un autre outil et donner au juge des preuves mesurables. Une requête d'édition d'image complexe ne devrait pas être traitée en réessayant avec le même éditeur.