Qwen 3.6 Plus devance DeepSeek V4 Pro dans un battle test en russe, pour un coût moindre

Le dernier battle test de six LLM d'avril sur du contenu en russe a livré un résultat inattendu : le nouveau modèle phare DeepSeek V4 Pro n'arrive pas en tête. Qwen 3.6 Plus, sorti plus tôt et moins cher, fait mieux.

Qui arrive en tête

On attendait de DeepSeek V4 Pro un résultat de niveau Tier S, soit plus de 95 points sur 100. L'attente était logique : le modèle est grand, récent, affiche de solides résultats sur AIME et SWE-bench et mise sur une architecture orientée reasoning. Pourtant, lors du test pratique sur du contenu en russe, il a obtenu 89 points. Le score est élevé, mais ce n'est pas celui que l'on attend habituellement d'une sortie qui revendique le statut de modèle phare, précisément pour ce marché.

La comparaison au sein de la gamme DeepSeek est encore plus intéressante. La version Flash a obtenu 83 points, soit seulement 6 points de moins que le Pro. Dans ce contexte, le nouveau passage de Qwen 3.6 Plus, sorti 22 jours plus tôt, a donné 92 points. Au final, un modèle plus ancien devance la toute dernière sortie de DeepSeek, non seulement sur la qualité du texte, mais aussi sur l'utilité globale pour des tâches réelles en langue russe.

Prix contre qualité

La principale surprise tient autant à l'économie qu'aux scores. Si le Pro ne dépasse le Flash que de quelques points tout en coûtant 13 fois plus cher, la décision pour la production n'a plus rien d'évident. Pour les équipes qui génèrent de gros volumes de contenu, cet écart se transforme vite en poste de dépense significatif.

Dans ce scénario, ce n'est pas le record absolu au test qui compte, mais la quantité de résultat utile obtenue pour chaque dollar dépensé. Dans la méthodologie mise à jour, l'auteur de la comparaison met précisément l'accent là-dessus et propose d'évaluer les modèles via le score-per-dollar. Cette approche modifie les conclusions plus fortement qu'un classement habituel fondé sur les scores bruts.

Un modèle peut être un peu moins bon en qualité, mais gagner à l'usage grâce à son prix, sa vitesse et un comportement plus prévisible sur les réponses longues. Pour les rédactions et les équipes produit, c'est bien plus utile que de payer aveuglément l'option la plus chère.

• DeepSeek V4 Pro — 89 points alors que le Tier S était attendu
• DeepSeek Flash — 83 points et une économie nettement plus favorable
• Qwen 3.6 Plus — 92 points et première place de la comparaison
• Écart entre Pro et Flash — 6 points pour un prix 13 fois plus élevé
• Indicateur clé pour le choix — pas seulement le score, mais aussi le score-per-dollar

Pourquoi le reasoning n'a pas suffi

L'une des principales hypothèses après le test est qu'une optimisation pour le reasoning ne garantit pas un bon résultat narratif. Des métriques comme AIME et SWE-bench montrent bien les capacités d'un modèle en mathématiques, en code et en raisonnement structuré, mais prédisent moins bien sa capacité à écrire un texte vivant, cohérent et convaincant en russe. Pour les tâches de contenu, le rythme, la précision des formulations, le sens de la structure et la maîtrise des nuances de la langue comptent, et pas seulement la capacité à décomposer correctement un problème en étapes.

Dans ce contexte, les mises à jour de la méthodologie apparaissent non comme une formalité, mais comme une tentative de rapprocher plus honnêtement le test des conditions de production. Parmi les changements figurent le réglage de max_tokens, un re-test payant et une évaluation plus stricte de la valeur pratique de la réponse. Autrement dit, on ne compare plus simplement des modèles « intelligents », mais des modèles censés résoudre de façon stable une tâche éditoriale précise dans un budget donné. C'est dans ces conditions qu'il est apparu que la nouveauté d'une sortie n'est plus, en soi, un avantage.

Ce que cela signifie

Le marché des LLM ressemble de moins en moins à une course du type « le plus récent est le meilleur ». Pour les tâches de contenu en russe, ce n'est pas le modèle le plus bruyant qui l'emporte, mais celui qui tient le mieux la qualité du texte et qui est rentable en production. Pour les équipes, c'est le signal de revérifier plus souvent les nouveaux modèles phares sur leurs propres scénarios, plutôt que de les choisir uniquement d'après les titres de benchmarks.