Claude Fable 5 contre GPT-5.5 Pro : comparatif sur 12 tâches via l'agrégateur BotHub

Les auteurs du blog BotHub sur Habr ont comparé deux modèles de langage haut de gamme, Claude Fable 5 d'Anthropic et GPT-5.5 Pro d'OpenAI, sur 12 tâches pratiques. Ils ont testé les deux via leur propre agrégateur de réseaux de neurones par API.

Pourquoi ce duel précis

Dans un article précédent, les auteurs avaient déjà comparé Claude Opus 4.8, GPT-5.5 et Gemini 3.1 Pro, en précisant d'emblée que GPT-5.5 Pro n'y participait pas : il est plus juste de l'opposer à Claude Fable 5, indisponible au moment de la publication. La situation a changé lorsqu'Anthropic a rouvert de façon inattendue l'accès général à Claude Fable 5.

• Claude Fable 5 est le premier modèle de la nouvelle classe Mythos, placée au-dessus d'Opus dans la hiérarchie d'Anthropic
• Anthropic a rouvert Fable 5 au public de façon inattendue
• La comparaison repose sur 12 tâches pratiques du quotidien, et non sur des benchmarks formels
• Les tests ont été réalisés via l'agrégateur d'API BotHub, et non via les interfaces web des modèles

Comment fonctionne la méthodologie de test

Les auteurs ont délibérément écarté les benchmarks prêts à l'emploi et les déclarations marketing des éditeurs, pour miser sur des tâches quotidiennes réelles. Les tests sont passés par l'agrégateur de réseaux de neurones BotHub, qui fonctionne par API. Selon les auteurs, cela supprime les béquilles et rustines qui aident implicitement les modèles dans leurs interfaces web maison. La méthode permet aussi de voir tout de suite ce que coûte, en argent, la résolution de chaque tâche.

Le coût est mesuré dans la monnaie interne de BotHub, le CAPS, liée au nombre de tokens consommés. En temps normal, un rouble permet d'acheter de 4000 à 6500 CAPS selon le volume d'achat ; dans cette comparaison, les auteurs ont utilisé un taux d'environ 1 rouble = 6370 CAPS, car leur formule d'abonnement a changé. Les deux modèles relèvent du segment premium, si bien que les prix finaux par tâche sont nettement plus élevés que dans la comparaison précédente d'Opus 4.8, GPT-5.5 et Gemini 3.1 Pro.

Comme auparavant, les auteurs désignent le vainqueur de chaque tâche de façon surtout subjective, et ils en avertissent honnêtement les lecteurs. Tous les éléments des tests sont publiés en accès libre : chacun peut donc se forger son opinion et choisir son modèle favori.

Ce qui rend ce format intéressant

La publication en accès libre de tous les éléments des tests fait partie de la méthode des auteurs : plutôt que de simplement désigner un vainqueur, ils laissent les lecteurs juger eux-mêmes les réponses des deux modèles sur chacune des 12 tâches et se faire leur propre avis, même s'il diverge des conclusions de l'article. Cette approche est particulièrement utile pour les modèles premium comme Claude Fable 5 et GPT-5.5 Pro, où le coût d'une requête entre dans la décision : non seulement la qualité de la réponse, mais aussi son prix en CAPS.

Ce que cela change

Le retour de Claude Fable 5 en accès ouvert permet pour la première fois de comparer directement le modèle phare de la classe Mythos d'Anthropic à la version Pro de GPT-5.5 d'OpenAI dans des conditions d'API identiques, et non à partir des promesses marketing des développeurs. Pour les équipes qui choisissent un modèle selon des tâches précises, ces comparatifs pratiques, avec un calcul transparent du coût en tokens, valent plus que les benchmarks formels, que les modèles premium réussissent généralement presque aussi bien les uns que les autres.

Questions fréquentes

Qu'est-ce que la classe de modèles Mythos chez Anthropic ?

Mythos est une nouvelle classe de modèles d'Anthropic, placée au-dessus d'Opus dans la hiérarchie de l'entreprise. Claude Fable 5 est le premier modèle publié dans cette classe.

Comment le coût des requêtes aux modèles a-t-il été calculé dans la

comparaison ?

Le coût a été mesuré dans la monnaie interne de l'agrégateur BotHub, le CAPS, liée au nombre de tokens consommés. En temps normal, 1 rouble équivaut à 4000-6500 CAPS selon le volume d'achat ; dans ce test, un taux d'environ 1 rouble = 6370 CAPS a été utilisé.