Claude Haiku 5.5 arrive dans Devin : 58,4% sur FrontierCode pour un coût environ huit fois inférieur à Sonnet 5

Claude Haiku 5.5 est arrivé dans Devin, et le chiffre clé de cette sortie est le suivant : 58,4% sur FrontierCode 1.1. Il s'agit d'un benchmark propriétaire de l'équipe Devin, qui évalue les modèles sur de vraies tâches d'ingénierie, selon la qualité de la solution et selon la possibilité de la fusionner (merge) dans la branche principale. Sur cette échelle, le plus petit modèle de la gamme dépasse Sonnet 5 (56,2%), et, selon Windsurf, le coût d'une tâche est environ huit fois plus bas.

Ce que montre FrontierCode 1.1

Le classement compte onze entrées, et Haiku 5.5 se place en milieu de tableau. Au-dessus figurent GPT-6.1 Sol, GPT-6 Sol, SWE-2, Claude Fable 5.1, Sonnet 5.5 et Opus 5.5. En dessous se trouvent Kimi K3, Gemini 3.7 Flash, Sonnet 5 et GPT-6 Luna. L'écart avec le sommet reste net : il manque 6 points pour atteindre Sonnet 5.5 (64,4%) et presque 7 pour Opus 5.5 (65,3%). En revanche, l'écart de 2,2 points avec Sonnet 5 joue en faveur de Haiku.

Les chiffres clés de la publication :

• Claude Haiku 5.5 : 58,4%
• Claude Sonnet 5 : 56,2%
• Kimi K3 : 58,2%
• Gemini 3.7 Flash : 56,3%
• GPT-6 Luna : 56,1%
• Claude Sonnet 5.5 : 64,4%
• Claude Opus 5.5 : 65,3%
• Coût d'une tâche avec Haiku 5.5 : environ 1/8 de celui de Sonnet 5

Il faut aussi tenir compte de la marge d'incertitude. Haiku 5.5 et Kimi K3 ne sont séparés que de 0,2 point : sur ce benchmark, ils jouent pratiquement dans la même catégorie. Sur les graphiques de coût par exécution, l'axe va de $0,02 à $20, et les modèles y semblent différer de plusieurs ordres de grandeur en matière de prix. Le texte ne donne pas les valeurs exactes pour chaque modèle ; seule la proportion annoncée, « environ huit fois », reste donc fiable.

Fusion : un modèle plus léger en assistant

La seconde partie de l'annonce concerne Devin Fusion. Haiku 5.5 a rejoint la gamme des modèles sidekick, c'est-à-dire des assistants qui travaillent aux côtés du modèle principal. Avec Haiku 5.5 dans ce rôle, Fusion atteint 66,2 points sur FrontierCode. C'est plus qu'Opus 5.5 seul (65,3%). Selon les auteurs, le coût et la latence diminuent par la même occasion.

La logique est claire. Le modèle coûteux planifie et prend les décisions clés, le modèle économique se charge du gros du travail. L'avantage de 0,9 point en faveur de l'association est mince, et le benchmark ne publie pas d'intervalles de confiance. L'argument principal est ailleurs : une qualité de niveau flagship pour des dépenses moindres.

On peut l'essayer dès maintenant dans Devin CLI, où Opus 5.5 joue le rôle de modèle principal. Devin Desktop est également disponible.

À quoi cela peut servir en pratique

D'abord, les réserves. FrontierCode appartient à Devin lui-même, nous ne voyons ni sa méthodologie ni la composition de ses tâches, et les résultats sont publiés sur le blog de l'entreprise. Cela ne suffit pas pour une comparaison indépendante. Mais pour choisir un modèle au sein d'un produit donné, ces données restent utiles : l'équipe mesure ce qui se passe réellement dans son agent.

Ce que l'on peut faire :

• Si vos tâches sont surtout routinières (corrections issues de tickets, petits refactorings, tests), il vaut la peine de tester Haiku 5.5 à la place de Sonnet 5. D'après les chiffres annoncés, il n'est pas moins bon en qualité et nettement moins cher.
• Pour les modifications complexes en plusieurs étapes, gardez Opus 5.5 comme modèle principal et placez Haiku en assistant via Fusion.
• Avant de basculer tout votre flux, passez 20–30 de vos propres tâches issues de votre dépôt et comparez la part des changements qui ont passé la revue. C'est précisément ce que le benchmark cherche à mesurer.
• Calculez le coût par tâche plutôt que par token : la comparaison avec Sonnet 5 sera plus honnête.

Si la proportion annoncée de huit fois se confirme sur votre code, l'économie deviendra un poste budgétaire sensible pour les gros volumes de travail agentique.