Claude Fable 5.2 dans Devin atteint 49,1 % sur FrontierCode 2.0, contre 32,4 % pour la 5.1

Une histoire bien connue : l'agent annonce que la tâche est résolue, les tests sont verts, mais lors de la revue on découvre que le code ne peut pas être mergé. Il ne respecte pas les conventions du dépôt, casse un module voisin ou embarque du superflu. C'est précisément cet écart entre « ça fonctionne » et « on peut le verser dans main » que tente de mesurer le benchmark FrontierCode 2.0 de l'équipe Windsurf. Il a désormais un nouveau leader : Claude Fable 5.2, devenu disponible dans Devin.

Ce que montrent les chiffres

Selon Windsurf, Fable 5.2 a obtenu 49,1 % sur FrontierCode 2.0. À titre de comparaison :

• Fable 5.1 : 32,4 %.
• Opus 5.5 : 45,5 %.

Le gain par rapport à la version précédente est de près de 17 points de pourcentage. Ce n'est pas une mise à jour cosmétique, mais un bond notable de la qualité du code. L'écart avec Opus 5.5 est plus modeste, environ 3,6 points, mais le modèle a tout de même pris la première place.

La seconde partie de l'annonce est plus intéressante pour ceux qui comptent les dépenses. Selon les auteurs, même à un faible niveau de reasoning effort, Fable 5.2 surpasse le meilleur résultat de Fable 5.1, tout en coûtant moins d'un tiers du prix de la tâche. Si cela se confirme sur vos données, la mise à niveau produit deux effets à la fois : le code est meilleur et la facture d'API plus basse. D'ordinaire, il faut sacrifier l'un pour l'autre.

Comment fonctionne l'évaluation et pourquoi c'est important

FrontierCode 2.0 évalue les modèles sur de vraies tâches d'ingénierie selon des critères de qualité et de mergeabilité. Le score final est une somme pondérée des points d'une grille. Il existe aussi une règle stricte : une solution qui ne passe pas les critères bloquants reçoit zéro. C'est fondamentalement différent des tests habituels du type « les tests unitaires passent ou non ». Un code qui fonctionne formellement mais enfreint les standards du projet n'est pas comptabilisé ici.

Le coût sur le graphique de Windsurf est calculé comme la somme moyenne en dollars pour une exécution, aux prix publics de l'API, en tenant compte des remises publiques. Autrement dit, ce n'est pas un coût de revient interne, mais ce que vous paieriez réellement. De tels chiffres peuvent au moins être transposés grossièrement à votre budget.

Limites et conduite à tenir en pratique

La principale réserve est évidente : le benchmark a été conçu et est maintenu par Windsurf elle-même, qui vend aussi Devin. Cela ne signifie pas que les chiffres sont peu fiables. Mais cela signifie qu'il n'y a pas de vérification indépendante. On ne dispose pas non plus de détails utiles avant de tirer des conclusions : combien de tâches compte le jeu, quels langages et quelles stacks, quelle est la stabilité du résultat d'une exécution à l'autre. L'écart de 3,6 points entre Fable 5.2 et Opus 5.5 peut rester dans la marge de bruit, ou non ; la publication ne permet pas de le savoir.

Voici donc la conclusion pratique.

• Si vous utilisez déjà Devin, essayez Fable 5.2 sur plusieurs de vos tâches typiques, y compris les désagréables : refactoring, correction de bug dans le code d'autrui, modification respectant les conventions.
• Commencez par un reasoning faible. L'économie annoncée, trois fois moins cher que le meilleur résultat de la version précédente, est potentiellement la partie la plus précieuse de cette version. Vérifiez si ce mode vous suffit avant de payer pour le mode élevé.
• Mesurez la métrique qui compte pour vous. La part de PR acceptées sans modification et le temps de revue en diront plus que n'importe quel classement public.

En résumé : Fable 5.2 semble être une mise à jour solide pour le développement agentique, notamment grâce au duo « meilleur et moins cher ». Mais pour l'instant, il s'agit de l'affirmation d'un éditeur sur son propre benchmark, et la décision de basculer doit se fonder sur les résultats obtenus sur votre base de code.