MTEdit : 500 000 trajectoires de retouches pour apprendre aux modèles à ne pas perdre en qualité en 8 étapes

Une équipe de chercheurs a publié MTEdit, un jeu de données conçu pour entraîner les modèles à l'édition d'images multi-étapes. Il rassemble 500 000 trajectoires de retouches, chacune comptant jusqu'à 8 étapes, 5,38 en moyenne. Selon les auteurs, c'est l'un des plus vastes du domaine. Le jeu de données est accompagné du benchmark MTEdit-Bench et d'un modèle affiné, Qwen-Image-MTEdit, qui a devancé les autres modèles ouverts lors de la comparaison.

Pourquoi les retouches séquentielles se dégradent

L'édition en une seule étape (« remplace l'arrière-plan », « ajoute un chapeau ») est depuis longtemps une fonction standard. Le travail réel est différent : l'utilisateur procède par itérations, et chaque nouvelle instruction s'appuie sur le résultat de la précédente. Entraîner de tels modèles exige des chaînes de retouches, et les constituer avec une qualité suffisante est difficile.

La méthode habituelle est le sequential rollout : le modèle retouche une image, il produit une nouvelle image, on lui applique l'instruction suivante, et ainsi de suite. Les erreurs s'accumulent. Vers la cinquième ou la sixième étape, l'image perd en netteté, les textures se déforment, et des détails que personne n'avait demandé de toucher changent. Les auteurs parlent de dérive de la qualité visuelle. Si l'on entraîne un modèle sur de telles chaînes, il apprend aussi cette dérive.

Packed trajectory canvas

Dans MTEdit, ce problème est traité par un pipeline fondé sur le packed trajectory canvas (PTC). Au lieu de générer chaque état par un passage distinct sur le résultat du précédent, le système crée plusieurs états de retouche conjointement, dans un contexte visuel unique. D'après la description, cela réduit la dérive entre les étapes : les états sont produits comme un ensemble cohérent, et non comme une chaîne de copies dont le bruit s'accumule.

Le jeu de données couvre deux scénarios. Le premier est l'édition pas à pas, où chaque instruction se suffit à elle-même. Le second est l'édition dépendante du contexte, où le modèle doit se souvenir de l'historique des étapes précédentes pour exécuter la retouche (« remets la couleur d'origine »).

Paramètres clés du travail :

• 500 000 trajectoires d'édition multi-étapes ;
• jusqu'à 8 étapes, 5,38 en moyenne par trajectoire ;
• deux scénarios : pas à pas et dépendant du contexte ;
• le benchmark MTEdit-Bench évalue le respect des instructions, la préservation du contenu, la résistance à la dérive et l'utilisation de l'historique ;
• modèle de base : Qwen-Image-Edit-Causal ; résultat de l'affinage : Qwen-Image-MTEdit.

Benchmark et résultats

MTEdit-Bench repose sur quatre capacités : exécuter les instructions, préserver le contenu, ne pas se dégrader d'une étape à l'autre et exploiter efficacement le contexte des tours précédents. Ces deux derniers points sont précisément ce que les tests en une seule étape laissent hors champ.

Les auteurs ont soumis au benchmark un large éventail de modèles d'édition, fermés et ouverts. D'après leurs données, Qwen-Image-MTEdit obtient le meilleur résultat parmi les modèles ouverts évalués. C'est un argument en faveur du jeu de données lui-même : l'architecture de base est restée la même, seules les données d'entraînement ont changé. Le résumé de l'article ne donne aucune valeur chiffrée des métriques et ne mentionne que les modèles ouverts ; l'écart avec les systèmes fermés ne pourra donc être évalué qu'à partir de l'article complet et de ses tableaux.

Ce que les développeurs doivent retenir

Une équipe qui développe un éditeur d'images avec interface de chat gagnerait à tester son modèle non pas sur une seule étape, mais sur une chaîne de cinq à huit retouches. C'est là que apparaît la dérive que les tests en une étape ne montrent pas. MTEdit-Bench fournit pour cela un cadre prêt à l'emploi, en particulier pour les instructions dépendantes du contexte.

Pour ceux qui préparent leurs propres données, l'idée du PTC est utile indépendamment du jeu de données : générer des états liés conjointement, plutôt que maillon après maillon, peut réduire l'accumulation d'artefacts. Avant tout déploiement, il faut attendre la publication des poids et de la licence, puis vérifier les métriques sur ses propres types de retouches : le résultat de tête annoncé a été obtenu sur le benchmark propre aux auteurs.