Prompt en russe dans ComfyUI : FLUX.2 et Qwen-Image perdent 4 à 13 points, et SD-Turbo presque tout

« Cinq canards en caoutchouc jaunes nagent dans la baignoire ». Pour cette phrase, FLUX.2 klein 4B a dessiné deux fois des bâtonnets jaunes, et SD-Turbo a produit une vue aérienne d'une ville. En anglais, les deux modèles ont dessiné les canards sans problème. La plupart des tutoriels ComfyUI partent du principe que le prompt est en anglais, et l'auteur de l'analyse a voulu vérifier si c'était vraiment obligatoire.

Pourquoi l'encodeur décide de tout

Ce n'est pas le modèle de diffusion qui transforme le texte en image, mais l'encodeur de texte : il découpe le prompt en tokens et transmet leurs vecteurs au modèle. S'il connaît mal la langue, aucun paramètre du sampler n'y changera rien.

Chez les modèles de 2022–2024, les encodeurs sont anglais. OpenAI écrit explicitement que CLIP n'a été ni entraîné ni testé sur autre chose que l'anglais. Le T5 v1.1 de FLUX.1 et de SD 3.5 ne connaît que 14 des 66 lettres russes, et uniquement des minuscules. Tout le reste, y compris toute majuscule, devient un token <unk>. « Самовар на деревянном столе » (un samovar sur une table en bois) arrive au modèle sous la forme « <unk>амовар на дерев<unk>нном столе ». Dans la partie russe du test, ces tokens représentent environ 22 %. CLIP ne perd pas de lettres, mais découpe le russe en petits morceaux, et le texte devient 3,35 fois plus long que l'anglais.

Les nouveaux modèles embarquent de grands modèles de langage : Qwen3 4B pour FLUX.2 klein, Qwen2.5-VL 7B pour Qwen-Image, Mistral Small 3.1 pour FLUX.2 dev. Leurs tokenizers connaissent le russe, il n'y a aucun token inconnu.

Ce que le test a montré

L'auteur a composé 12 prompts propices aux erreurs : samovar, baranki, valenki, pelmeni, comptage d'objets, position des objets, cyrillique sur une enseigne. Chacun a été exécuté sur deux seeds en russe et en anglais. Les images ont été évaluées par deux modèles multimodaux répondant par « oui/non » à des questions sur les détails ; leurs réponses ont coïncidé dans 92,8 % des cas.

Résultats par détails réalisés, russe contre anglais :

• FLUX.2 dev : 91 % contre 95 %
• Qwen-Image 2512 : 83 % contre 93 %
• FLUX.2 klein 4B : 73 % contre 86 %
• SD-Turbo sur processeur : 4 % contre 67 %

SD-Turbo, avec son OpenCLIP anglais, n'a presque rien dessiné en russe : quatre détails corrects sur 92, tous dus au hasard. En revanche, le russe ne gêne pas les modèles modernes pour une composition simple (« tasse rouge à gauche, théière verte à droite »). Les échecs commencent avec les réalités : aucun modèle n'a dessiné une botte de baranki à partir du prompt russe, et les valenki en russe n'ont réussi chez aucun.

Le comptage et le cyrillique dans l'image sont difficiles dans les deux langues. Seuls FLUX.2 dev et Qwen-Image ont dessiné de façon constante exactement cinq canards. L'enseigne « Булочная » (boulangerie) n'a été écrite sans erreur que par FLUX.2 dev, et encore sur une tentative sur deux. Qwen-Image a produit « Билочля », klein « Бузчиние ».

La langue ou les explications ?

La principale réserve du test : dans quatre prompts anglais, l'auteur avait ajouté des explications comme « valenki felt boots ». Il a donc relancé ces quatre prompts dans deux nouvelles variantes. Résultats pour les trois modèles ensemble :

• en russe : 72 %
• en russe avec explications : 76 %
• en anglais sans explications : 70 %
• en anglais avec explications : 81 %

L'anglais sans explications s'est retrouvé au niveau du russe ordinaire. Le modèle bute donc non pas sur la langue, mais sur un mot auquel ne correspond aucune image claire. Les explications en russe ont le plus aidé Qwen-Image : 68 % → 85 %. Pour FLUX.2 dev, le gain est plus modeste (79 % → 82 %), et pour klein le résultat a même baissé (68 % → 62 %). Mais l'auteur prévient lui-même que les juges répondent de façon instable sur les détails litigieux ; une différence de quelques vérifications doit donc être considérée comme du bruit.

Pour SD-Turbo, le traducteur a aidé : un modèle de langage bon marché l'a remonté à 61–63 % pour environ un centime par prompt.

Limites et que faire

Il s'agit d'une expérience sur 12 prompts et deux seeds, pas d'un benchmark. Quatre modèles ont été exécutés via l'API de BotHub (l'auteur écrit pour son blog), où les étapes et le guidance sont choisis par le fournisseur ; il convient donc de comparer le russe à l'anglais au sein d'un même modèle. FLUX.1 schnell est traduit en anglais par le service lui-même, il n'a donc pas été inclus dans les conclusions sur la compréhension du russe.

Conclusion pratique :

• Les modèles à encodeur LLM (FLUX.2, Qwen-Image) n'exigent pas de traducteur dans le graphe ; le russe leur convient.
• Expliquez les réalités : pas « podstakannik », mais « verre dans un porte-verre métallique » ; pas « baranki », mais « botte de petits anneaux de pain ».
• Pour les modèles basés sur CLIP ou T5 (SD 1.5, SDXL, SD 3.5, FLUX.1, SD-Turbo), placez un traducteur LLM avant l'encodeur ; c'est peu coûteux.
• Il est plus fiable d'ajouter ensuite le cyrillique des enseignes et des emballages dans un éditeur.