Prompt em russo no ComfyUI: FLUX.2 e Qwen-Image perdem de 4 a 13 pontos, e o SD-Turbo perde quase tudo

«Cinco patinhos de borracha amarelos nadam na banheira». Para essa frase, o FLUX.2 klein 4B desenhou duas vezes palitos amarelos, e o SD-Turbo entregou uma vista aérea de uma cidade. Em inglês, ambos os modelos desenharam os patinhos sem problemas. A maioria dos tutoriais do ComfyUI parte do princípio de que o prompt é em inglês, e o autor da análise decidiu verificar se isso é mesmo obrigatório.

Por que o codificador decide tudo

Quem transforma texto em imagem não é o modelo de difusão, mas o codificador de texto: ele divide o prompt em tokens e entrega ao modelo os vetores correspondentes. Se ele conhece mal o idioma, nenhum parâmetro do sampler corrige isso.

Nos modelos de 2022–2024, os codificadores são em inglês. A OpenAI afirma explicitamente que o CLIP não foi treinado nem testado em nada além do inglês. O T5 v1.1 do FLUX.1 e do SD 3.5 conhece apenas 14 das 66 letras russas, e só as minúsculas. Todo o resto, incluindo qualquer maiúscula, vira o token <unk>. «Самовар на деревянном столе» (um samovar sobre uma mesa de madeira) chega ao modelo como «<unk>амовар на дерев<unk>нном столе». Na parte russa do teste, esses tokens somam cerca de 22%. O CLIP não perde letras, mas fragmenta o russo em pedaços minúsculos, e o texto fica 3,35 vezes mais longo que o inglês.

Os modelos novos usam grandes modelos de linguagem: Qwen3 4B no FLUX.2 klein, Qwen2.5-VL 7B no Qwen-Image, Mistral Small 3.1 no FLUX.2 dev. Os tokenizadores deles conhecem o russo, e não há tokens desconhecidos.

O que o teste mostrou

O autor montou 12 prompts em que é fácil tropeçar: samovar, baranki, valenki, pelmeni, contagem de objetos, posição dos objetos, cirílico em uma placa. Cada um foi executado com duas seeds, em russo e em inglês. As imagens foram avaliadas por dois modelos multimodais, com respostas «sim/não» a perguntas sobre os detalhes; as respostas deles coincidiram em 92,8% dos casos.

Resultados por detalhes cumpridos, russo contra inglês:

• FLUX.2 dev: 91% contra 95%
• Qwen-Image 2512: 83% contra 93%
• FLUX.2 klein 4B: 73% contra 86%
• SD-Turbo na CPU: 4% contra 67%

O SD-Turbo com OpenCLIP em inglês quase não desenhou nada em russo: quatro detalhes corretos de 92, todos por acaso. Em compensação, o russo não atrapalha os modelos modernos numa composição simples («caneca vermelha à esquerda, bule verde à direita»). As falhas começam nas realidades culturais: nenhum modelo desenhou um feixe de baranki a partir do prompt em russo, e os valenki em russo não saíram em nenhum deles.

Contagem e cirílico na imagem são difíceis nos dois idiomas. Exatamente cinco patinhos foram desenhados de forma consistente apenas pelo FLUX.2 dev e pelo Qwen-Image. A placa «Булочная» (padaria) foi escrita sem erros apenas pelo FLUX.2 dev, e ainda assim em uma de duas tentativas. O Qwen-Image produziu «Билочля», o klein, «Бузчиние».

Idioma ou explicações?

A principal ressalva do teste: em quatro prompts em inglês, o autor acrescentou explicações como «valenki felt boots». Por isso, ele executou esses quatro prompts mais uma vez em duas novas variantes. Resultados dos três modelos em conjunto:

• em russo: 72%
• em russo, com explicações: 76%
• em inglês, sem explicações: 70%
• em inglês, com explicações: 81%

O inglês sem explicações ficou no nível do russo comum. Ou seja, o modelo tropeça não no idioma, mas em uma palavra à qual não corresponde uma imagem clara. As explicações em russo ajudaram mais o Qwen-Image: 68% → 85%. No FLUX.2 dev o ganho é mais modesto (79% → 82%), e no klein o resultado até piorou (68% → 62%). Mas o próprio autor alerta que os juízes respondem de forma instável em detalhes ambíguos, então uma diferença de algumas verificações deve ser tratada como ruído.

Para o SD-Turbo, o tradutor ajudou: um modelo de linguagem barato elevou o desempenho a 61–63% e custou cerca de um centavo por prompt.

Limitações e o que fazer

Isto é um experimento com 12 prompts e duas seeds, não um benchmark. Quatro modelos foram executados pela API do BotHub (o autor escreve para o blog do serviço), onde os passos e o guidance são escolhidos pelo provedor; por isso, convém comparar o russo com o inglês dentro de um mesmo modelo. O FLUX.1 schnell é traduzido para o inglês pelo próprio serviço, então ele não entrou nas conclusões sobre a compreensão do russo.

Conclusão prática:

• Modelos com codificador LLM (FLUX.2, Qwen-Image) não exigem um tradutor no grafo; o russo serve para eles.
• Explique as realidades culturais: não «podstakannik», mas «copo em um porta-copo metálico»; não «baranki», mas «um feixe de argolinhas de pão».
• Para modelos baseados em CLIP ou T5 (SD 1.5, SDXL, SD 3.5, FLUX.1, SD-Turbo), coloque um tradutor LLM antes do codificador; é barato.
• É mais seguro aplicar o cirílico em placas e embalagens depois, em um editor.