Claude Fable 5 contre GPT-5.5 Pro : 12 tâches comparées via l'agrégateur BotHub

Les auteurs du blog Habr de BotHub ont comparé deux modèles de langage haut de gamme, Claude Fable 5 d'Anthropic et GPT-5.5 Pro d'OpenAI, sur 12 tâches pratiques. Les deux modèles ont été testés via l'agrégateur d'API de réseaux neuronaux maison.

Pourquoi comparer précisément ces deux modèles

Dans un article précédent, les auteurs avaient déjà comparé Claude Opus 4.8, GPT-5.5 et Gemini 3.1 Pro. Ils avaient toutefois précisé d'emblée que GPT-5.5 Pro ne participait pas : il était plus pertinent de l'opposer à Claude Fable 5, alors indisponible au moment de la publication. La donne a changé lorsqu'Anthropic a remis Claude Fable 5 en accès public, à la surprise générale.

• Claude Fable 5 est le premier modèle de la nouvelle classe Mythos, qui se situe au-dessus d'Opus dans la hiérarchie d'Anthropic
• Anthropic a remis Fable 5 en accès ouvert, à la surprise générale
• La comparaison repose sur 12 tâches pratiques du quotidien, et non sur des benchmarks formels
• Les tests ont été menés via l'agrégateur d'API BotHub, et non via les interfaces web des modèles

Comment fonctionne la méthodologie de test

Les auteurs ont délibérément écarté les benchmarks clés en main et les annonces marketing des éditeurs pour miser sur des tâches réelles du quotidien. Les tests sont passés par l'agrégateur de réseaux neuronaux BotHub, qui fonctionne par API. Selon les auteurs, cela débarrasse la comparaison des béquilles et rustines qui aident implicitement les modèles dans leurs interfaces web propriétaires. La méthode permet aussi de voir immédiatement combien coûte la résolution de chaque tâche.

Le coût est exprimé dans la monnaie interne de BotHub, le CAPS, indexée sur le nombre de tokens consommés. En règle générale, un rouble permet d'acheter entre 4000 et 6500 CAPS selon le volume d'achat ; pour cette comparaison, les auteurs ont utilisé un taux d'environ 1 rouble = 6370 CAPS, leur forfait ayant changé. Les deux modèles appartenant au segment premium, la facture par tâche s'est révélée nettement plus élevée que lors de la comparaison précédente entre Opus 4.8, GPT-5.5 et Gemini 3.1 Pro.

Comme auparavant, les auteurs désignent le gagnant de chaque tâche de manière essentiellement subjective, et le signalent honnêtement aux lecteurs. L'ensemble des matériaux de test est publié en accès libre : chacun peut ainsi se forger sa propre opinion et choisir son modèle favori.

Ce que ce format de comparaison a d'intéressant

La publication ouverte de tous les matériaux de test fait partie intégrante de la méthode. Plutôt que de simplement proclamer un vainqueur, les auteurs laissent les lecteurs évaluer eux-mêmes les réponses des deux modèles sur chacune des 12 tâches et se faire leur propre avis, même s'il diverge des conclusions de l'article. Cette approche est particulièrement utile pour des modèles premium comme Claude Fable 5 et GPT-5.5 Pro, où le coût même d'une requête entre dans le choix du modèle : la qualité de la réponse compte, mais aussi son prix en CAPS.

Ce que cela signifie

Le retour de Claude Fable 5 en accès ouvert permet pour la première fois de comparer directement le modèle phare de la classe Mythos d'Anthropic à la version Pro haut de gamme de GPT-5.5 d'OpenAI, dans des conditions d'API identiques plutôt que sur la foi des promesses marketing des développeurs. Pour les équipes qui choisissent un modèle en fonction de tâches précises, ces comparaisons pratiques, avec un calcul transparent du coût en tokens, valent davantage que les benchmarks formels, que les modèles premium réussissent généralement presque aussi bien les uns que les autres.

Questions fréquentes

Qu'est-ce que la classe de modèles Mythos d'Anthropic ?

Mythos est une nouvelle classe de modèles d'Anthropic, positionnée au-dessus d'Opus dans la hiérarchie de l'entreprise. Claude Fable 5 est le premier modèle sorti dans cette classe.

Comment le coût des requêtes aux modèles a-t-il été calculé dans la

comparaison ?

Le coût a été mesuré dans la monnaie interne de l'agrégateur BotHub, le CAPS, indexée sur le nombre de tokens consommés. En règle générale, 1 rouble équivaut à 4000-6500 CAPS selon le volume d'achat ; ce test a utilisé un taux d'environ 1 rouble = 6370 CAPS.