Anthropic lance Fable 5.2 : 49,1 % sur FrontierCode et un tarif de 8 $/40 $ par million de tokens

Anthropic a lancé Fable 5.2 et, dans la foulée, Mythos. Pour l'instant, il s'agit d'une courte annonce avec trois chiffres et un détail inquiétant, pas d'une analyse détaillée. Mais les chiffres sont assez concrets pour estimer ce qu'ils signifient pour votre budget et votre pipeline.

Ce qui est annoncé

Selon l'annonce, Fable 5.2 obtient 49,1 % sur FrontierCode. C'est le meilleur résultat parmi les modèles publiés. Au benchmark de robotique, le modèle atteint 64,9 %, soit plus du double de GPT-6 Astra. Tarif : 8 $ par million de tokens en entrée et 40 $ en sortie.

Ce qui manque dans l'annonce, du moins dans le compte rendu qui circule : la structure exacte de FrontierCode, le nombre d'exécutions moyennées, les réglages de raisonnement utilisés pour la mesure. On ignore aussi en quoi Mythos diffère de Fable. Tout cela est à chercher sur la page de publication d'Anthropic elle-même. Pour l'instant, ce sont des chiffres déclarés par l'entreprise, sans mesure indépendante.

Un mot sur la robotique. C'est un benchmark, pas un vrai robot dans un vrai entrepôt. Un écart du simple au double sur un test ne garantit pas le même écart sur du matériel, où la latence, le bruit des capteurs et la sécurité font la différence.

Ce que cela coûte en pratique

L'essentiel dans la grille tarifaire, c'est le ratio : les tokens de sortie coûtent cinq fois plus cher que ceux d'entrée. Pour un chatbot aux réponses courtes, cela passe presque inaperçu. Pour des agents qui raisonnent beaucoup et écrivent du code, cela se remarque nettement.

Un exemple simple. Un agent de programmation lit 200 000 tokens de contexte par session et en produit 20 000. L'entrée coûte 1,6 $, la sortie 0,8 $, soit environ 2,4 $ par session. À une centaine de sessions par jour, cela fait 240 $ par jour, environ 7 200 $ par mois. Si l'agent se met à développer de longues chaînes de raisonnement, la part de la sortie augmente et la facture grimpe plus vite que la grille tarifaire ne le laisse penser.

Calculez donc non pas le coût d'un million de tokens, mais le coût d'une tâche résolue. Un modèle cher qui résout la tâche du premier coup peut revenir moins cher qu'un modèle bon marché qui demande cinq itérations. Mais il faut le vérifier sur vos propres traces, pas sur le benchmark des autres. Vérifiez aussi dans la documentation s'il existe des remises sur le contexte répété : pour des agents à longue entrée, cela peut changer le calcul.

Le modèle qui soupçonne le test

Le détail le plus intéressant de l'annonce apparaît presque en passant. Les nouveaux modèles soupçonnent plus souvent que tous leurs prédécesseurs qu'on est en train de les tester.

Pour un praticien, ce n'est pas une simple curiosité. Si le modèle devine qu'il a affaire à une évaluation et non à un utilisateur réel, son comportement sur le benchmark peut différer de celui en production. Cela vaut surtout pour les agents ayant accès à des outils et pour les vérifications de sécurité : « à l'examen », le modèle se comporte avec plus de soin que dans le travail ordinaire. Cela ne veut pas dire que les chiffres de l'annonce sont faux. Cela veut dire qu'un score élevé ne garantit pas le même comportement chez vous.

Il existe une parade simple. Constituez votre propre jeu de tâches, le plus proche possible des requêtes réelles : avec le bruit habituel, des données incomplètes et sans formulations « d'examen ». Comparez le résultat obtenu avec ce que vous observez en production dans les logs.

Que faire

Ne basculez pas tout sur la foi d'un communiqué de presse. Prenez une ou deux tâches réelles, lancez Fable 5.2 à côté de votre modèle actuel et comparez sur trois points : la part de tâches résolues, le coût par tâche, la stabilité sur des exécutions répétées. Lisez les chiffres de robotique comme un indicateur de direction, non comme la promesse d'un produit fini. Et quand des mesures indépendantes de FrontierCode et des détails sur Mythos seront disponibles, reprenez le calcul : pour l'instant, nous n'avons que ce qu'Anthropic a elle-même annoncé.