Cognition выпустила SWE-2 Flash: в 5 раз дешевле, в терминал-тесте 20% задач вместо 0,9%

Большая часть повседневной работы кодовых агентов не требует самой дорогой модели. Проверить pull request, обновить README после смены конфига, закрыть мелкую задачу в трекере — для этого флагман избыточен, а его цена и медлительность быстро накапливаются. Cognition выпустила SWE-2 Flash, которую называет полностью американской моделью для программирования. Она в пять раз дешевле старшей SWE-2 и втрое быстрее: около 200 токенов в секунду против 60 (токен — это кусочек текста, примерно слог-два). Качество тоже подтянулось: в Terminal-Bench 4.0, где агент сам запускает команды в терминале и решает прикладные задачи, например разбирает биологические данные, модель справляется с 20% заданий. У базовой Inkling-Small было 0,9%.

Что получилось по скорости и цене

SWE-2 Flash уже доступна в Devin Desktop и Devin CLI. Разница в скорости заметна в долгих агентских сессиях, где модель десятки раз подряд читает файлы, запускает тесты и правит код. Каждая пауза превращается в ожидание, и втрое более быстрый ответ сокращает его заметно.

Основа — Inkling-Small от Thinking Machines: 276 млрд параметров в сумме, из них одновременно задействованы 12 млрд. Для сравнения, у Beam 1.0 это 501 млрд, у Muse Spark Open — 816 млрд, а у SWE-2 — около 2,8 трлн. По словам Cognition, на ведущих тестах Flash обходит все американские модели с открытыми весами, включая те, что втрое больше.

Откуда взялся прирост

Главное новшество рецепта — промежуточное дообучение (mid-training) перед обучением с подкреплением. Раньше Cognition такой этап не использовала. Команда собрала набор из нескольких триллионов токенов: научные статьи, блоги, код и другие источники. Обучение шло в три этапа, причём самые редкие и качественные данные модель видела в конце.

Чтобы подобрать пропорции данных, инженеры сравнивали разные смеси: сколько токенов нужно, чтобы достичь той же ошибки на отложенной проверочной выборке, что и у базового запуска. Эту выборку они собрали сами, и она отражает реальные задачи разработки.

Затем шло масштабное обучение с подкреплением. Сам рецепт изменили слабо, а основной выигрыш, как утверждает Cognition, дали задачи. Команда проверила инструкции, настройку окружения и проверяющие скрипты, а ещё добавила новые типы заданий, чтобы модель училась рассуждать шире.

Результаты по сравнению с базовой Inkling-Small:

• Terminal-Bench 4.0: с 0,9% до 20,0%;
• FrontierCode 2.0: с 3,2% до 24,0%;
• DeepSWE 1.1: с 17,4% до 60,1%;
• ExploitBench: с 11,3% до 34,8%.

На FrontierCode 2.0 Flash набрала 24,0% против 23,8% у старшей SWE-2. На Terminal-Bench 4.0 старшая модель всё же впереди (27,3% против 20,0%), а на DeepSWE 1.1 разрыв больше (73,0% против 60,1%).

Киберриски и закрытые веса

Cognition отдельно обучала модель кибербезопасности, чтобы она помогала защитникам. Результат на ExploitBench, тесте на создание эксплойтов, вырос примерно втрое. Но те же навыки полезны и атакующим, а недавний всплеск кибератак компания называет причиной не публиковать веса открыто.

Вместо этого она готовит программу, в рамках которой веса получат проверенные партнёры из индустрии и исследовательские лаборатории. Они смогут дообучать модель и запускать её в закрытых средах, в том числе на собственных серверах. Подробности обещают через несколько недель.

Что с этим делать

Если ваши агенты в основном ревьюят код, пишут документацию и закрывают небольшие задачи, имеет смысл прогнать их через Flash и сравнить результат с дорогой моделью. До 30 ноября это можно сделать бесплатно. Командам с жёсткими требованиями к приватности стоит следить за условиями программы доступа к весам.

Оговорки очевидны. Все цифры приведены самой Cognition, независимых проверок пока нет. Старшая SWE-2 остаётся сильнее на сложных задачах, а модель, которая решает в терминале пятую часть заданий, пока не заменит инженера. Зато сочетание цены, скорости и качества делает её серьёзным кандидатом для массовой автоматической работы.