EditAgent amplia o conjunto de ferramentas e supera correções sequenciais em 78,5% das comparações

Agentes de edição de imagens costumam seguir o esquema «planejar, editar, avaliar»: um pedido complexo é dividido em etapas e, se uma delas falha, o mesmo editor a refaz e o mesmo juiz a avalia, olhando para um único resultado. Pesquisadores da UCSD e da Adobe Research (o trabalho foi feito durante um estágio na Adobe) afirmam que esse tipo de agente esbarra em dois limites: o que ele sabe fazer e o que o juiz enxerga. O sistema deles, o EditAgent, amplia os dois espaços, e retocadores profissionais, em comparação cega, preferiram sua busca paralela ao refinamento sequencial em 78,5% dos casos, sem empates.

Onde um único editor generalista falha

Para medir o problema, os autores montaram um benchmark de diagnóstico: 600 conjuntos em 30 tipos de edição, com 20 conjuntos por tipo, agrupados em seis categorias. Cada conjunto tem a imagem original, a instrução e de 2 a 4 candidatos: amostras do editor generalista FLUX.2-klein-9B e resultados de métodos especializados (edição local por máscara, remoção de objetos, operadores fotométricos). Cinco retocadores profissionais de Photoshop marcaram em conjunto todas as variantes aproveitáveis.

O resultado é desfavorável aos modelos generalistas. Apenas os candidatos do editor geral foram aproveitáveis em 254 conjuntos (42,3%), apenas os especializados em 175 (29,2%), os dois tipos em 90 (15,0%), e em 81 conjuntos (13,5%) ninguém serviu. Como o editor geral está presente em todos os conjuntos, ele falhou em 256 casos (42,7%), e um método especializado resgatou 175 deles. O generalista foi pior em geometria, tom e melhoria da foto.

Simplesmente aumentar o número de amostras não resolve. Quando o mesmo juiz VLM escolhia o melhor resultado de um pool só com o editor geral, a edição aproveitável aparecia em 45,2% dos conjuntos. Com um pool que incluía métodos especializados, o índice subiu para 68,2%. Dos 296 conjuntos em que exatamente um dos dois resultados escolhidos era aproveitável, em 217 ele vinha do pool ampliado.

Busca paralela em vez de refinamentos sequenciais

No segundo experimento, com orçamento de quatro gerações, os autores compararam dois modos com um editor e um juiz (Qwen3.8-27B). O refinamento sequencial corrige o próprio resultado anterior, o que consome três chamadas de feedback e uma escolha final. A busca paralela gera candidatos de forma independente a partir da imagem original e exige no máximo duas chamadas à VLM.

Em 144 amostras do Complex-Edit (níveis de complexidade 1, 4 e 8), os retocadores escolheram a variante paralela 102 vezes e a sequencial 28; houve empate em outras 14. Os autores atribuem isso ao acúmulo de erros: no refinamento sequencial, pequenos defeitos da primeira iteração passam para as seguintes, enquanto os candidatos paralelos sempre partem do quadro original.

Um juiz que vê as evidências

A segunda parte do trabalho trata da avaliação. Juízes que avaliam um resultado por vez se mostraram instáveis: nenhum dos testados, incluindo o modelo de recompensa ajustado EditScore-72B, lidera em todos os grupos de edição. A métrica Winner-Set Hit@1 (a fração de conjuntos em que o candidato mais bem avaliado está entre os aproveitáveis) do Qwen3.8-27B fica, em um dos grupos, apenas 5,2 pontos acima da escolha aleatória. A métrica de similaridade com a imagem original CLIP-I se sai bem onde o resultado quase não muda e não é melhor que o acaso onde a edição deveria ser visível.

O EditAgent fornece ao juiz um registro de verificação para cada candidato: mapa de mudanças, aproximações da área editada, brilho, cor e geometria medidos, e resultados de checagens programáticas. O juiz entende o que o código já confirmou e o que ainda precisa ser avaliado a olho. Ele compara os candidatos em uma única chamada.

O efeito aparece no EditReward-Bench. Os modelos EditScore chegam a 65,9–70,3%, e a versão 72B com conjunto de quatro passagens atinge 76,3%. VLMs comuns com avaliação individual obtêm 71,7–73,8%, e, ao comparar candidatos em uma única chamada, 85,2–86,1%. No benchmark de diagnóstico, a comparação em lista elevou o Qwen3.8-27B de 71,6% para 73,6%, mas em dois grupos em que o resultado difere pouco do original a precisão caiu de 65,0% para 36,8%. Os registros de verificação corrigiram isso.

O que mais os experimentos mostraram e quais são as limitações

A arquitetura inclui um planejador, um analisador, ancoragem na região via VLM e SAM 2.1, além de um roteador. Ele escolhe os métodos: edição por máscara, remoção via OSOR, movimentação e escala de objetos, filtros fotográficos e de estilo, rotações e espelhamentos, zoom por recorte e superresolução ou outpainting. O resultado aceito se torna a imagem de partida da etapa seguinte.

Com Qwen-Image-Edit-2511 e FLUX.2-klein-9B como editores base, o EditAgent melhorou os dois modelos em três benchmarks, incluindo o EdiVal. Além disso, 25,7 mil sessões aceitas serviram como dados de treinamento: editores ajustados com elas superaram modelos treinados com dados vindos diretamente do FLUX.2-klein-9B.

As limitações também são claras. O conjunto de diagnóstico é pequeno, foi anotado por cinco retocadores, e o editor geral ali é um único modelo. A busca paralela economiza chamadas ao juiz, mas exige executar vários métodos ao mesmo tempo. Para quem trabalha na prática, a conclusão é: diante de uma falha, vale adicionar outra ferramenta e dar ao juiz evidências mensuráveis. Um pedido complexo de edição de imagem não deve ser resolvido repetindo a tentativa com o mesmo editor.