Fable 5.2 dans llm-anthropic : le mode max brûle 128 000 jetons sans fournir de réponse

Quand un nouveau modèle sort, la première question d'un développeur est simple : comment l'essayer rapidement ? Simon Willison, l'auteur de l'utilitaire llm, y a répondu dès le jour de la sortie. Anthropic a lancé Fable 5.2 et Mythos 5.2, et ils sont déjà disponibles dans le plugin llm-anthropic version 0.31. Il a aussi repéré un travers désagréable que doivent connaître tous ceux qui comptent faire tourner le modèle avec les réglages maximaux.

Comment l'essayer en une minute

llm est un utilitaire en ligne de commande qui offre une interface unique à différents modèles de langage. Le plugin llm-anthropic y connecte les modèles d'Anthropic. Pour lancer Fable 5.2, il faut quatre étapes : installer llm via uv, installer le plugin, enregistrer la clé API d'Anthropic et exécuter la commande avec le nom du modèle claude-fable-5.2.

Pour la vérification, Willison utilise son test signature : demander au modèle de dessiner une image SVG d'un pélican à vélo. C'est pratique, car la tâche exige à la fois du raisonnement spatial et un balisage soigné, et le résultat se juge immédiatement à l'œil. Ce n'est évidemment pas un benchmark scientifique, mais c'est un indicateur rapide de la façon dont le modèle se débrouille face à une tâche atypique.

Cinq niveaux de raisonnement et une panne

Fable 5.2 propose cinq niveaux d'effort de raisonnement : low, medium, high, xhigh et max. Plus le niveau est élevé, plus le modèle dépense de jetons à réfléchir avant de répondre. Willison a exécuté la requête sur chacun d'eux.

Le meilleur s'est révélé être xhigh. Sur l'image, les jambes sont placées du bon côté du vélo, le cadre est bien dessiné, le bec avec sa poche est convaincant. Il y a aussi des défauts : de drôles de petits doigts sur le guidon, et la poche est légèrement décalée par rapport à la partie supérieure du bec. Dans l'ensemble, le résultat est bon.

En revanche, max n'a renvoyé aucune image. Le modèle a dépensé 128 000 jetons en réflexion et a atteint la limite sans jamais arriver à la réponse. En somme, il a trop réfléchi à la tâche, jusqu'à se casser.

Détail important : ce n'est pas la première fois. Willison avait observé la même chose avec Opus 5.5. Mais pour la gamme Fable, c'est une nouveauté. Fable 5 et Fable 5.1 se comportaient normalement au niveau max et livraient les images sans problème. Il s'agit donc d'une régression propre à la version 5.2, même s'il est trop tôt pour tirer des conclusions définitives à partir d'un seul test.

Que faire en pratique

Première conclusion : le niveau de raisonnement maximal n'équivaut pas au meilleur résultat. Il est plus cher, plus lent et, comme on le voit, peut ne donner aucune réponse. Si vous construisez un produit sur Fable 5.2, commencez par high ou xhigh et ne montez plus haut que là où cela améliore la qualité de façon mesurable.

Deuxième conclusion : prévoyez toujours la gestion d'une réponse vide. Si le modèle a épuisé sa limite de jetons dans le raisonnement, votre code doit savoir le détecter et relancer la requête avec un niveau d'effort inférieur, au lieu de planter ou d'afficher du vide à l'utilisateur. Il faut aussi surveiller le coût : 128 000 jetons gaspillés, c'est de l'argent réel, surtout pour des appels en masse.

Troisième conclusion : lors du passage à une nouvelle version du modèle, exécutez vos propres tests de régression sur tous les modes que vous utilisez. Ce qui fonctionnait en 5.1 peut se comporter autrement en 5.2.

Limites

Il s'agit de l'observation d'une seule personne sur une seule tâche. Nous ignorons à quelle fréquence la panne se reproduit sur d'autres requêtes, et Anthropic ne l'a pas encore commentée. Le problème pourrait se résoudre par un réglage des limites ou une mise à jour. Mais comme signal de prudence, cela suffit : testez max sur vos propres tâches avant de l'activer en production.