GPT-6.1 Sol dans Devin : 60,4% sur FrontierCode pour $0,31 par tâche

OpenAI a lancé GPT-6.1 Sol, et Devin l'a intégré dès le jour de la sortie : le modèle est disponible dans Devin Desktop et Devin CLI. Sur FrontierCode 1.1, le benchmark maison de l'équipe Windsurf, il obtient 60,4%. GPT-6 Sol atteint 60,7% et GPT-5.6 Sol 60,6%. L'écart de qualité reste dans la marge du bruit statistique, mais le prix par tâche a chuté radicalement : au niveau de reasoning effort intermédiaire, GPT-6.1 Sol revient à $0,31, alors que GPT-6 Sol dépense $1,66 au niveau maximal pour son meilleur résultat. L'économie s'élève à 81%.

Même résultat, autre facture

FrontierCode 1.1 évalue les modèles sur de vraies tâches d'ingénierie selon deux critères : la qualité de la solution et la mergeability, c'est-à-dire la possibilité d'intégrer les modifications dans la base de code sans les réécrire. C'est plus proche du travail quotidien d'un développeur que les tests classiques de type « tâche résolue ou non résolue ».

Selon Windsurf, le tableau d'ensemble se présente ainsi pour tous les modes :

• GPT-6.1 Sol, score final : 60,4% contre 60,7% pour GPT-6 Sol et 60,6% pour GPT-5.6 Sol.
• Niveau d'effort intermédiaire : $0,31 par tâche.
• Maximum de GPT-6 Sol : $1,66 par tâche pour son meilleur résultat.
• Économie à chaque niveau d'effort : de 44% à 57% par rapport à GPT-6 Sol, pour un résultat à un point près ou supérieur.
• Niveau d'effort faible : 58,1% pour $0,21 contre 50,5% pour GPT-6 Sol avec les mêmes réglages.

Le vrai changement se joue en bas de l'échelle

Le nouveau modèle n'a pas relevé le plafond de qualité, les chiffres le montrent. La partie basse de la courbe est plus intéressante. Au niveau d'effort faible, GPT-6.1 Sol gagne 7,6 points par rapport à GPT-6 Sol : de 50,5% à 58,1%. Le prix reste fixé à $0,21 par tâche. D'après le leaderboard FrontierCode, c'est le meilleur résultat parmi tous les modèles à moins de $0,30 par tâche.

Pour les scénarios agentiques, la différence compte. Lorsqu'un agent tourne des centaines de fois par jour sur de petites tâches comme la correction de tests, le refactoring ou la mise à jour de dépendances, l'écart entre $0,21 et $1,66 pèse nettement dans le budget. Pour ce prix, on obtient désormais un résultat qui exigeait auparavant le mode maximal.

Sa place sur la carte d'ensemble

GPT-6.1 Sol ne prend pas la tête du classement. Au-dessus de lui figurent Claude Opus 5.5 (65,3%), Claude Fable 5 (64,9%), GPT-6 Astra (64,5%), Claude Sonnet 5.5 (64,4%), Claude Fable 5.1 (63,6%), SWE-2 (62,5%) et Grok 4.6 (61,3%). Grok 4.7, avec 59,4%, reste derrière. Il manque 4,9 points pour atteindre la première place. Mais sur le graphique « prix contre qualité », le modèle se situe dans le coin inférieur gauche : les prix en abscisse vont de $0,25 à $5 par rollout, et dans la zone bon marché, GPT-6.1 Sol n'a presque pas de concurrents.

La réserve s'impose : FrontierCode est un benchmark propriétaire de Windsurf elle-même, et les chiffres sont publiés sur le blog d'une entreprise qui vend l'accès aux modèles. L'article ne mentionne aucune vérification indépendante. Cela dit, la méthode, qui évalue l'aptitude du code à être fusionné, paraît plus sensée que bien des tests publics.

Comment l'utiliser concrètement

Les équipes qui travaillent déjà dans Devin ont intérêt à lancer leurs tâches types sur GPT-6.1 Sol au niveau d'effort intermédiaire et à comparer avec leur configuration actuelle. D'après les chiffres de Windsurf, la perte de qualité est minime, tandis que le coût est divisé par plusieurs fois.

Pour les petites tâches en volume, il vaut la peine de tester le mode faible : $0,21 pour 58,1% couvrent une part importante du travail de routine. Il paraît plus judicieux de réserver les niveaux maximaux et les modèles haut de gamme comme Claude Opus 5.5 aux tâches complexes, où les derniers points de qualité comptent et où leur prix se justifie.

Avant de basculer tout le flux, mieux vaut constituer son propre échantillon de tickets réels : un bon résultat sur un benchmark fermé ne garantit pas un comportement identique sur votre base de code.