Qwen-Image-PE ensina design à rede neural: aprimorador de prompts adiciona +7,81 pontos

O prompt "café aconchegante no inverno" para um gerador de imagens é quase nada. Luz, composição, enquadramento e detalhes ficam totalmente a critério do modelo, e o resultado costuma sair mediano. A equipe do Qwen, formada por 29 autores liderados por Zekai Zhang e Chenfei Wu, apresentou o Qwen-Image-PE, um aprimorador de prompts que completa essas consultas transformando-as em uma especificação de design coerente. No benchmark interno Qwen-Image-Bench, usando o gerador Qwen-Image-2.1, a versão Qwen-Image-PE-397B melhora a pontuação das consultas originais em 7,81 pontos. A versão compacta Qwen-Image-PE-9B supera todos os aprimoradores de referência avaliados, e foi justamente essa versão que os autores disponibilizaram em código aberto.

Destilação reversa: aprendendo design a partir de descrições de

imagens finalizadas

A maioria dos aprimoradores existentes preserva a intenção do usuário e torna a imagem geralmente mais atraente. Parâmetros sutis de design, porém, quase nunca são tratados como um objetivo próprio. O Qwen-Image-PE preenche essa lacuna com um treinamento em duas etapas.

A primeira etapa é um ajuste fino supervisionado (SFT) usando o método Caption-Based Reverse Distillation (CRD). São usadas imagens bem produzidas junto com suas descrições densas e detalhadas. Essas descrições funcionam como referência: o modelo aprende a reconstruir, a partir de uma consulta curta, um texto tão rico quanto o que descreveria uma cena bem-sucedida. O conhecimento de design vem de trabalhos reais, não de instruções abstratas como "deixe bonito".

Recompensa em grupo em vez de avaliação por imagem individual

A segunda etapa é o aprendizado por reforço com a recompensa Groupwise Design Reward (GDR). Para uma mesma consulta, várias variantes são geradas, e todas as imagens resultantes são avaliadas em conjunto, em comparação umas com as outras. A recompensa visa quatro parâmetros: iluminação, composição, enquadramento e nível de detalhe. Comparar dentro de um mesmo grupo gera um sinal mais claro do que avaliar cada imagem isoladamente. O modelo percebe em que uma variante bem-sucedida difere das demais geradas a partir da mesma consulta.

Verificações adicionais mostraram ganhos em design visual, estética, qualidade da imagem e preferência humana.

Três eixos de escalonamento e transferência para outros geradores

Os autores afirmam que a qualidade do aprimorador melhora ao longo de três eixos: volume de dados de treinamento, tamanho do modelo e densidade de informação do prompt. A densidade de informação é descrita como uma condição necessária. Se a consulta expandida não for suficientemente rica em detalhes, os outros dois fatores não ajudam.

Outro resultado relevante envolve a capacidade de transferência. O Qwen-Image-PE se generaliza para quatro arquiteturas T2I adicionais. No HunyuanImage-2.1 e no FLUX 3 Image Klein, ele supera os próprios aprimoradores nativos desses modelos.

Fatos-chave:

• Modelo: Qwen-Image-PE, um aprimorador de prompts para geração de texto para imagem.
• Autores: 29 pesquisadores, artigo no arXiv 2610.33472.
• Etapa 1: SFT com Caption-Based Reverse Distillation (CRD) sobre descrições densas de imagens de qualidade.
• Etapa 2: RL com Groupwise Design Reward (GDR), comparando em conjunto todos os candidatos de uma mesma consulta.
• Parâmetros-alvo: iluminação, composição, enquadramento, detalhe.
• Qwen-Image-PE-397B: +7,81 pontos sobre as consultas originais no Qwen-Image-Bench com o Qwen-Image-2.1.
• Qwen-Image-PE-9B: supera todos os aprimoradores de referência avaliados, lançado em código aberto.
• Eixos de escalonamento: dados, tamanho do modelo, densidade de informação.
• Transferência: quatro backends T2I adicionais, incluindo HunyuanImage-2.1 e FLUX 3 Image Klein, nos quais o modelo superou os aprimoradores nativos.
• Lançamento: huggingface.co/Qwen/Qwen-Image-2.1-PE-T2I.

Como aplicar isso na prática

Para equipes que constroem produtos baseados em geração de imagens, a principal novidade é a versão de 9B. É um modelo que pode, na prática, ser mantido junto ao gerador como uma camada separada. Ele recebe a consulta bruta do usuário e retorna um prompt expandido, enquanto o gerador em si permanece inalterado. Como o aprimorador se transfere para outros backends, é possível testá-lo com o modelo que já está em uso e comparar com a solução nativa desse modelo, usando as próprias consultas.

Também vale considerar a conclusão sobre a densidade de informação. Se você escreve prompts manualmente ou ajusta seu próprio aprimorador, o tamanho da descrição expandida e a quantidade de decisões de design concretas nela contidas influenciam o resultado mais do que parece. É melhor verificar isso nos próprios cenários: os números dos autores foram obtidos no benchmark Qwen-Image-Bench deles, usando o gerador Qwen-Image-2.1.