MTEdit: 500 mil trajetórias de edição ensinam modelos a não perder qualidade ao longo de 8 etapas

Uma equipe de pesquisadores publicou o MTEdit, dataset para treinar modelos em edição de imagens em várias etapas. Ele contém 500 mil trajetórias de edição, com até 8 etapas cada e média de 5,38. Os autores o descrevem como um dos maiores da área. Junto com os dados, vieram o benchmark MTEdit-Bench e o modelo ajustado Qwen-Image-MTEdit, que superou outros modelos abertos na comparação.

Por que as edições sequenciais falham

A edição em uma única etapa («troque o fundo», «adicione um chapéu») já virou recurso padrão. O trabalho real é diferente: a pessoa avança por iterações, e cada nova instrução parte do resultado da anterior. Treinar modelos para isso exige cadeias de edições, e montá-las com qualidade é difícil.

O método usual é o sequential rollout: o modelo edita a imagem, gera uma nova, aplica a instrução seguinte sobre ela, e assim por diante. Nesse processo, os erros se acumulam. Lá pela quinta ou sexta etapa, a imagem perde nitidez, as texturas se desmancham e mudam detalhes que ninguém pediu para alterar. Os autores chamam isso de deriva da qualidade visual (drift). Se o modelo for treinado com essas cadeias, ele aprende também o drift.

Packed trajectory canvas

No MTEdit, o problema é tratado por um pipeline baseado em packed trajectory canvas (PTC). Em vez de gerar cada estado em uma passada separada sobre o resultado do anterior, o sistema cria vários estados da edição em conjunto, em um único contexto visual. Segundo a descrição, isso reduz o drift entre as etapas: os estados nascem como um conjunto coerente, e não como uma cadeia de cópias com ruído acumulado.

O dataset cobre dois cenários. No primeiro, a edição é passo a passo, e cada instrução é autossuficiente. No segundo, a edição depende do contexto: para executá-la, o modelo precisa lembrar o histórico das etapas anteriores («volte à cor que era no início»).

Principais parâmetros do trabalho:

• 500 mil trajetórias de edição em várias etapas;
• até 8 etapas, com média de 5,38 por trajetória;
• dois cenários: passo a passo e dependente do contexto;
• o benchmark MTEdit-Bench avalia o cumprimento das instruções, a preservação do conteúdo, a resistência ao drift e o uso do histórico;
• o modelo-base é o Qwen-Image-Edit-Causal, e o resultado do ajuste é o Qwen-Image-MTEdit.

Benchmark e resultados

O MTEdit-Bench se organiza em torno de quatro capacidades: seguir instruções, preservar o conteúdo, não perder qualidade de uma etapa para outra e usar de forma eficaz o contexto dos passos anteriores. As duas últimas são justamente o que os testes de etapa única deixam de fora.

Os autores rodaram o benchmark em um amplo conjunto de modelos de edição, fechados e abertos. Segundo eles, o Qwen-Image-MTEdit obteve o melhor resultado entre os modelos abertos avaliados. É um argumento a favor do próprio dataset: a arquitetura-base continuou a mesma, e só os dados de treinamento mudaram. O texto do resumo não traz valores numéricos das métricas e menciona apenas modelos abertos, de modo que a distância para os sistemas fechados só poderá ser medida pelo artigo completo e suas tabelas.

O que fazer, para desenvolvedores

Uma equipe que desenvolve um editor de imagens com interface de chat deve testar seu modelo não em uma única etapa, mas em cadeias de cinco a oito edições. É aí que aparece o drift, que os testes de etapa única não mostram. O MTEdit-Bench oferece uma estrutura pronta para isso, sobretudo no que diz respeito a instruções dependentes do contexto.

Para quem prepara dados próprios, a ideia do PTC é útil independentemente do dataset em si: gerar estados relacionados em conjunto, e não elo por elo, pode reduzir o acúmulo de artefatos. Antes de adotar a abordagem, é preciso aguardar a publicação dos pesos e da licença e validar as métricas nos seus próprios tipos de edição: o resultado de liderança declarado foi obtido no benchmark criado pelos próprios autores.