Qwen 3.8 Max et DeepSeek V4 comparés sur une même question croisée dans PlyLoom

L'auteur d'une publication sur Habr a mené une petite expérience. Il a pris deux modèles, Qwen 3.8 Max et DeepSeek V4, et leur a posé à tous deux la même question croisée. Il a chargé les réponses, sous forme de graphes, dans PlyLoom pour comparer des structures plutôt que des paragraphes de texte. Deux participants, une requête, un outil d'analyse. L'annonce est courte : elle ne contient ni la question, ni résultats chiffrés, ni conclusions, qui sont restés dans la version complète de l'article.

Ce que l'on sait de l'expérience

L'annonce livre peu d'éléments, mais ils sont clairs. Les noms de versions des modèles sont repris tels que l'auteur les a indiqués ; nous ne les avons pas vérifiés de manière indépendante. Une question « croisée » exige, d'après sa formulation, de relier plusieurs domaines ou notions. Lesquels ? L'annonce ne le dit pas. Une réponse sous forme de graphe est un ensemble de nœuds et de liens entre eux, et non un texte continu. Dans ce dispositif, PlyLoom sert de plateforme où sont chargés les résultats des deux modèles pour les analyser et les confronter.

• Modèles : Qwen 3.8 Max et DeepSeek V4 (noms selon la source).
• Requête : la même question croisée pour les deux.
• Format du résultat : réponses sous forme de graphes.
• Outil de comparaison : PlyLoom.
• Publication : Habr, 12 octobre 2026.
• Non dévoilés : le texte de la question, le nombre de nœuds et de liens, les critères d'évaluation, le nombre d'exécutions, la conclusion finale.

En quoi la comparaison par graphes diffère de la comparaison classique

Comparer les réponses textuelles de deux modèles n'est pas commode. La longueur, le style et l'assurance du ton brouillent le jugement : un paragraphe bien écrit passe facilement pour plus exact. Le graphe élimine une partie de ce bruit. Il montre quelles notions le modèle a retenues, quels liens il a tracés entre elles et ce qu'il a omis. On peut confronter deux modèles sur la composition des nœuds, sur la densité des liens et sur les points où leurs représentations du monde divergent.

L'approche a aussi un point faible. Le graphe est lui aussi le produit d'une génération. Son aspect dépend de la formulation de la requête, du format de sortie demandé et de la manière dont la réponse est découpée en nœuds et en arêtes. Si l'on a demandé à un modèle de produire directement la structure et que l'on a analysé l'autre après coup, la comparaison sera biaisée. De plus, une seule question ne donne qu'un seul point de mesure. Elle montre comment les modèles se sont comportés sur cette question, sans pour autant constituer un classement.

Comment lire ce type de comparaison et la reproduire soi-même

Avant de tirer des conclusions d'une telle expérience, il faut vérifier plusieurs points. Les conditions étaient-elles identiques : texte du prompt, instructions système, température, mode de raisonnement activé ou désactivé ? Combien y a-t-il eu d'exécutions : la réponse d'un modèle dépend fortement de l'aléatoire. Qui a transformé la réponse en graphe, et comment : à la main, par un script ou par le modèle lui-même ? Enfin, les faits contenus dans les nœuds ont-ils été vérifiés ? Un beau lien entre deux notions reste beau, même s'il est inventé.

Pour ceux qui veulent reproduire l'essai, un schéma simple suffit. Prenez une question de votre propre domaine, dont vous pouvez vous-même juger l'exactitude. Fixez les paramètres de lancement et conservez les réponses brutes avant tout traitement. Exécutez la requête plusieurs fois et ajoutez deux ou trois autres questions d'un type différent. Ce n'est qu'ensuite qu'il faut comparer les graphes. Ce que l'expérience avec Qwen et DeepSeek a réellement montré, on peut l'apprendre dans l'article complet sur Habr. Pour l'instant, l'annonce publique ne contient aucune donnée permettant de désigner un vainqueur.