Cognition lance SWE-2 : 50% sur FrontierCode pour un coût réduit de 64%

Cognition a présenté SWE-2, son modèle de programmation le plus puissant à ce jour. Sur FrontierCode 1.1 Main, il obtient 50,0%. C'est seulement 0,9 point de moins que Fable 5.1, pour un coût inférieur de 64%. Le modèle est issu d'un post-entraînement de Kimi K3 (2,8 billions de paramètres). Selon l'entreprise, c'est la première fois qu'elle fait monter le RL à l'échelle du multi-billion de paramètres. Dès aujourd'hui, SWE-2 est disponible dans Devin Desktop et la CLI, tandis que son déploiement se poursuit sur Devin Web et Fusion.

Les chiffres face à la concurrence

Cognition compare SWE-2 à la base Kimi K3, à Grok 4.6, Fable 5.1, GPT-5.6 Sol, GPT-6 Astra ainsi qu'à son propre SWE-1.7. D'après la société, SWE-2 surpasse SWE-1.7 et Grok 4.6 tant en qualité qu'en coût. Il rivalise avec GPT-5.6 Sol et Fable 5/5.1 en matière de performances tout en restant nettement moins cher. Quelques points le séparent encore de GPT-6 Astra, mais il ne coûte qu'un quart de son prix.

• FrontierCode 1.1 Main : 50,0% (Kimi K3 — 44,2%, Fable 5.1 — 50,9%, GPT-6 Astra — 53,3%, SWE-1.7 — 42,0%).
• DeepSWE 1.1 : 73,0% (Kimi K3 — 68,5%, GPT-5.6 Sol — 72,7%, GPT-6 Astra — 74,1%, SWE-1.7 — 37,7%).
• Terminal-Bench 2.1 : 92,8% contre 91,4% pour Fable 5.1.
• Terminal-Bench 4 : 27,3%. L'écart est ici colossal : Fable 5.1 affiche 55,8% et GPT-6 Astra 57,9%. En revanche, SWE-2 fait presque quatre fois mieux que SWE-1.7 et ses 7,6%.

En clair, les leaders creusent l'écart sur Terminal-Bench 4. Le gain de 5 à 6 points par rapport à Kimi K3 sur de nombreux benchmarks découle directement du fine-tuning RL. Cognition souligne d'ailleurs que le modèle de base disposait d'une marge de progression considérable.

Méthode d'entraînement : intégrer le coût dans la récompense

L'innovation méthodologique majeure repose sur l'intégration directe d'une pénalité de coût au sein de la fonction de récompense. Celle-ci se calcule selon la formule R = S − λe·C. Ici, S vaut 1 en cas de succès et 0 en cas d'échec, C représente le coût de l'exécution (combinant dollars d'inférence et temps de calcul), et e correspond au niveau de reasoning effort.

Le coefficient λe est ajusté sur la pente locale du front de Pareto du modèle de base à ce niveau. Cognition démontre en annexe que cette pénalité doit être linéaire : c'est la seule façon de garantir un fonctionnement identique avant et après moyennage sur l'ensemble des tâches. Si λ est trop élevé, le modèle en high-effort se comportera comme en medium.

Le coût chutera plus vite que le taux de résolution, la récompense augmentera, mais la frontière n'évoluera pas. Tous les niveaux d'effort sont entraînés en un seul run. Kimi K3 utilise pour cela des experts dédiés par domaine et par niveau, suivis d'une distillation.

Pour stabiliser l'apprentissage, Cognition emploie une baseline de groupe pondérée par la longueur, une méthode en place depuis SWE-1.6. Une baseline optimale exigerait une passe backward supplémentaire, mais la norme du gradient est fortement corrélée à la longueur du rollout. Les chercheurs la remplacent donc par la somme des Ri·Li divisée par la somme des Li. Lors des ablations, ce choix maintient une divergence KL très basse entre inférence et entraînement.

L'accélération des rollouts repose sur plusieurs optimisations : un prefill delayer regroupe les requêtes proches, augmentant le TPM sur GPU et le TPS par requête de 10 à 20%. Le décodage spéculatif de DSpark perdant en efficacité à mesure que la politique évolue, le modèle draft a été réentraîné via SpecForge. La longueur de séquence acceptée a ainsi progressé de 15%.

L'usage de kernels NVFP4/FP8 et d'un quantization-aware training a réduit l'empreinte mémoire. La divergence entre entraînement et inférence s'avère plus faible que sur SWE-1.7 avec un débit comparable, bien que le modèle soit presque trois fois plus volumineux.

Le nombre d'environnements RL a été triplé, des overlays d'instructions ont été intégrés, et les anciens checkpoints de SWE-2 servent désormais à durcir les vérificateurs.

Comportement de l'agent et recommandations pratiques

Le gain le plus visible concerne l'économie d'étapes. Sur FrontierCode 1.1 Main, SWE-1.

7 utilise en moyenne 127 étapes par tâche, contre 53 pour SWE-2 medium, 80 pour high et 98 pour max. La première modification concrète de code intervient à la 18e étape médiane en medium, contre 48 pour SWE-1.7.

Cela répond aux retours des utilisateurs, qui reprochaient à la version précédente d'explorer le code trop longtemps sur des tâches simples. En parallèle, le mode medium se montre plus rapide et 81% moins cher que SWE-1.7, tout en obtenant de meilleurs scores.

Cognition note également des progrès qualitatifs : les tests s'avèrent plus exhaustifs et, lors du blocage d'une intégration MCP, le modèle a su récupérer les données nécessaires dans l'historique Slack. Face à une hypothèse émise par l'utilisateur, SWE-2 la vérifie désormais systématiquement au lieu de la valider aveuglément.

En pratique, la démarche est claire. Pour les tâches simples à intermédiaires, commencez par le mode medium : il va droit au but beaucoup plus vite. Réservez les modes high et max aux refactorisations complexes exigeant une planification poussée et des vérifications en plusieurs étapes. Si vos cas d'usage ressemblent à Terminal-Bench 4 — des scénarios terminaux longs —, prévoyez de la marge ou testez GPT-6 Astra et Fable 5.1. Ces chiffres venant pour l'instant de Cognition elle-même, le plus judicieux reste d'évaluer SWE-2 sur vos propres dépôts afin de mesurer le coût réel par tâche résolue.