Cognition lance SWE-2 Flash : 5 fois moins cher, et 20% des tâches du test terminal résolues contre 0,9%

L'essentiel du travail quotidien des agents de code ne requiert pas le modèle le plus coûteux. Relire une pull request, mettre à jour le README après un changement de configuration, clore une petite tâche dans le tracker : pour cela, un modèle phare est surdimensionné, et son prix comme sa lenteur s'accumulent vite. Cognition a lancé SWE-2 Flash, qu'elle présente comme un modèle de programmation entièrement américain.

Il coûte cinq fois moins cher que le SWE-2 haut de gamme et va trois fois plus vite : environ 200 tokens par seconde contre 60 (un token est un fragment de texte, à peu près une ou deux syllabes). La qualité progresse aussi : sur Terminal-Bench 4.0, où l'agent lance lui-même des commandes dans un terminal et résout des tâches appliquées, comme l'analyse de données biologiques, le modèle réussit 20% des tâches.

Le modèle de base Inkling-Small en réussissait 0,9%.

Vitesse et prix : ce que ça donne

SWE-2 Flash est déjà disponible dans Devin Desktop et Devin CLI. L'écart de vitesse se remarque surtout lors des longues sessions d'agent, où le modèle lit des fichiers, lance des tests et corrige du code des dizaines de fois de suite. Chaque pause devient du temps d'attente, et une réponse trois fois plus rapide le réduit nettement.

Le modèle repose sur Inkling-Small de Thinking Machines : 276 milliards de paramètres au total, dont 12 milliards activés simultanément. À titre de comparaison, Beam 1.0 en compte 501 milliards, Muse Spark Open 816 milliards, et SWE-2 environ 2,8 billions. Selon Cognition, Flash devance sur les principaux benchmarks tous les modèles américains à poids ouverts, y compris ceux qui sont trois fois plus gros.

D'où vient le gain

La principale nouveauté de la recette est un entraînement intermédiaire (mid-training) placé avant l'apprentissage par renforcement. Cognition n'avait jamais utilisé cette étape auparavant. L'équipe a constitué un corpus de plusieurs billions de tokens : articles scientifiques, blogs, code et autres sources. L'entraînement s'est déroulé en trois étapes, et le modèle a vu les données les plus rares et les plus qualitatives à la fin.

Pour calibrer les proportions de données, les ingénieurs ont comparé différents mélanges : ils ont mesuré combien de tokens il fallait pour atteindre la même erreur que l'entraînement de référence sur un jeu de validation mis de côté. Ils ont constitué ce jeu eux-mêmes, et il reflète des tâches de développement réelles.

Vient ensuite un apprentissage par renforcement à grande échelle. La recette elle-même a peu changé : selon Cognition, le principal gain vient des tâches. L'équipe a vérifié les instructions, la configuration des environnements et les scripts de vérification, puis ajouté de nouveaux types de tâches pour que le modèle apprenne à raisonner plus largement.

Résultats par rapport au modèle de base Inkling-Small :

• Terminal-Bench 4.0 : de 0,9% à 20,0% ;
• FrontierCode 2.0 : de 3,2% à 24,0% ;
• DeepSWE 1.1 : de 17,4% à 60,1% ;
• ExploitBench : de 11,3% à 34,8%.

Sur FrontierCode 2.0, Flash obtient 24,0% contre 23,8% pour le SWE-2 haut de gamme. Sur Terminal-Bench 4.0, le grand modèle reste toutefois devant (27,3% contre 20,0%), et sur DeepSWE 1.1 l'écart est plus important (73,0% contre 60,1%).

Cyberrisques et poids fermés

Cognition a entraîné le modèle spécifiquement à la cybersécurité, afin qu'il aide les défenseurs. Son résultat sur ExploitBench, un test de création d'exploits, a été multiplié par environ trois. Mais ces mêmes compétences servent aussi les attaquants, et l'entreprise invoque la récente flambée de cyberattaques pour justifier la non-publication des poids en accès ouvert.

Elle prépare à la place un programme dans le cadre duquel des partenaires vérifiés de l'industrie et des laboratoires de recherche recevront les poids. Ils pourront affiner le modèle et l'exécuter dans des environnements fermés, y compris sur leurs propres serveurs. Les détails sont promis dans quelques semaines.

Que faire de ce modèle

Si vos agents relisent surtout du code, rédigent de la documentation et bouclent de petites tâches, il est judicieux de leur faire utiliser Flash et de comparer le résultat avec celui d'un modèle coûteux. Jusqu'au 30 novembre, le test est gratuit. Les équipes soumises à des exigences strictes de confidentialité devraient suivre les conditions du programme d'accès aux poids.

Les réserves sont évidentes. Tous les chiffres viennent de Cognition elle-même, et il n'existe pour l'instant aucune vérification indépendante. Le SWE-2 haut de gamme reste plus performant sur les tâches complexes, et un modèle qui résout un cinquième des tâches dans un terminal ne remplace pas encore un ingénieur. En revanche, la combinaison du prix, de la vitesse et de la qualité en fait un candidat sérieux pour le travail automatisé à grande échelle.