Gemini 4 Carbon contre Claude Fable 5.2 : 103 fois moins cher, mais une image moins belle

Choisir un modèle phare d'après des tableaux de benchmarks est devenu ennuyeux : tous les chiffres sont disponibles depuis longtemps. Il est donc plus intéressant de voir ce qui se passe quand on donne le même prompt créatif à deux modèles et qu'on compte la facture. L'auteur de la chaîne Neurogen a rassemblé sur Twitter huit comparaisons de ce type entre Gemini 4 Carbon et Claude Fable 5.2 et les a montées dans une seule vidéo. Ce n'est pas une étude de laboratoire, mais un ensemble de cas particuliers. Pour un praticien, c'est pourtant plus utile que bien des graphiques officiels.

Ce qui a été comparé et le résultat

Les tâches sont variées : une scène en voxels avec un héros et des fusées, une ville en pixel art, un navire pirate, de la typographie cinétique pour un pitch de fondateurs, une animation 3D pédagogique sur les warps de GPU, les ruines d'un robot dans le style Ghibli et un simulateur de tondeuse à gazon à la première personne.

Le tableau est plutôt cohérent :

• Fable tient mieux un personnage reconnaissable et les textures. Dans le test des fusées, Gru se reconnaît à ses lunettes et à son écharpe ; chez Carbon, la scène s'est transformée en bouillie. Sur les ruines du robot, Fable montre de la rouille et de la mousse, et pour le simulateur de tondeuse, l'auteur parle d'une image « venue d'une autre galaxie » : l'herbe, les ombres, le manoir lui-même.
• Carbon est plus soigné pour les schémas et la typographie. L'animation explicative sur les warps, avec ses flux et ses flèches, a paru à l'auteur plus claire que la version volumétrique, mais plus décorative, de Fable.
• Dans certains cas, comme le navire pirate, la différence relève du goût.

Argent et temps

Le chiffre le plus frappant de la sélection vient du simulateur de tondeuse. Fable a dépensé 349,15 $ et 3 h 32 min, Carbon s'en est tenu à 3,40 $ et 39 minutes. C'est environ 103 fois moins cher et 5,3 fois plus rapide. Pour la ville en pixel art, à durée égale (~60 minutes), Fable a coûté ~18 $, Carbon ~6,2 $. Dans le test des fusées, 24,11 $ contre 53,34 $.

Au tarif par token, Carbon est quatre fois moins cher : 2 $ par million de tokens en entrée et 10 $ en sortie, contre 8 $ et 40 $. Mais c'est un tarif de lancement valable jusqu'au 30 novembre. À partir du 1er décembre, il passera à 4 $ et 20 $, et l'écart sera divisé par deux. Si vous avez calculé votre budget sur les anciens tarifs, refaites vos calculs.

Il faut aussi être prudent avec le « moins cher par tâche ». Si le résultat de Carbon dans le cas de Gru est une bouillie, l'économie de 29 $ ne vaut rien, car vous payez pour un résultat inutilisable. La bonne métrique est ici le prix d'un résultat acceptable, et non le prix d'une exécution.

Pour le temps, le tableau est contrasté. Dans deux tests, Carbon a pris les mêmes ~60 minutes que Fable au maximum de reasoning, et l'auteur note qu'il est plus lent que l'Argon précédent. Mais dans le cas de la tondeuse, il s'est montré nettement plus rapide. La vitesse semble dépendre fortement de la tâche et des réglages de raisonnement.

Comment l'utiliser

La conclusion pratique de l'auteur de la sélection semble raisonnable :

• Il vous faut une image expressive avec une personne, un objet ou une texture complexe : payez plus cher pour Fable.
• Il vous faut un explicatif, une infographie, un schéma animé ou beaucoup d'exécutions à la suite : Carbon est moins cher et plus prévisible.
• Si votre pipeline repose sur des itérations (des dizaines d'essais avant d'y arriver), un modèle bon marché au plafond un peu plus bas l'emporte souvent sur le modèle coûteux.

Une bonne stratégie pour les équipes : lancer prototypes et brouillons sur Carbon, et ne confier à Fable que le rendu final ou les images où la fidélité compte.

Ce qu'il faut garder à l'esprit

Ce sont des comparaisons Twitter faites par différents auteurs, et non une expérience contrôlée. Chacun a ses prompts, ses réglages de reasoning et ses critères du « beau ». Dans la plupart des cas, il n'y a qu'une seule exécution, sans statistiques. Pour une partie des tests, les prix ne sont même pas indiqués, et les évaluations de la qualité visuelle sont subjectives. Le cas bonus compare Carbon non pas à Fable, mais à l'Opus précédent, il n'a donc presque aucun rapport avec le débat principal. De plus, les prix de Carbon sont temporaires.

Ne changez donc pas de stack à cause d'une seule vidéo. Prenez deux ou trois de vos tâches réelles, faites-les tourner sur les deux modèles d'ici la fin novembre et calculez non seulement le coût, mais aussi la part de résultats que l'on peut montrer à un client. Ces chiffres seront votre benchmark.