GPT-6.1 Sol в Devin держит 60,4% на FrontierCode за $0,31 за задачу

OpenAI выпустила GPT-6.1 Sol, и Devin подключил её в день релиза: модель доступна в Devin Desktop и Devin CLI. На FrontierCode 1.1, собственном бенчмарке команды Windsurf, она набирает 60,4%. GPT-6 Sol получает 60,7%, GPT-5.6 Sol — 60,6%. Разница в качестве укладывается в статистический шум, зато цена за задачу упала радикально: на среднем уровне reasoning effort GPT-6.1 Sol обходится в $0,31, а GPT-6 Sol для своего лучшего результата тратит $1,66 на максимальном уровне. Экономия составляет 81%.

Тот же результат, другой счёт

FrontierCode 1.1 оценивает модели на реальных инженерных задачах по двум критериям: качество решения и mergeability, то есть можно ли принять изменения в кодовую базу без переписывания. Это ближе к повседневной работе разработчика, чем классические тесты на «решилась или не решилась задача».

По данным Windsurf, картина по всем режимам выглядит так:

• GPT-6.1 Sol, итоговый балл: 60,4% против 60,7% у GPT-6 Sol и 60,6% у GPT-5.6 Sol.
• Средний уровень усилий: $0,31 за задачу.
• Максимум у GPT-6 Sol: $1,66 за задачу для лучшего результата.
• Экономия на каждом уровне усилий: от 44% до 57% относительно GPT-6 Sol при результате в пределах одного пункта или выше.
• Низкий уровень усилий: 58,1% за $0,21 против 50,5% у GPT-6 Sol при тех же настройках.

Главный сдвиг внизу шкалы

Потолок качества новая модель не подняла, и это видно по цифрам. Интереснее нижняя часть кривой. На низком уровне усилий GPT-6.1 Sol прибавляет 7,6 пункта относительно GPT-6 Sol: с 50,5% до 58,1%. При этом цена остаётся на отметке $0,21 за задачу. По лидерборду FrontierCode это лучший результат среди всех моделей дешевле $0,30 за задачу.

Для агентных сценариев это существенно. Когда агент запускается сотнями раз в день на мелких задачах вроде правки тестов, рефакторинга или обновления зависимостей, разница между $0,21 и $1,66 превращается в заметную строку бюджета. Теперь за эту цену можно получить результат, который раньше требовал максимального режима.

Место на общей карте

Абсолютным лидером GPT-6.1 Sol не стала. На лидерборде выше расположились Claude Opus 5.5 (65,3%), Claude Fable 5 (64,9%), GPT-6 Astra (64,5%), Claude Sonnet 5.5 (64,4%), Claude Fable 5.1 (63,6%), SWE-2 (62,5%) и Grok 4.6 (61,3%). Ниже осталась Grok 4.7 с 59,4%. До верхней строчки не хватает 4,9 пункта. Но на графике «цена против качества» модель сидит в нижнем левом углу: цены на оси идут от $0,25 до $5 за rollout, и в дешёвой зоне GPT-6.1 Sol конкурентов почти нет.

Оговорка очевидна: FrontierCode — проприетарный бенчмарк самой Windsurf, а цифры опубликованы в блоге компании, которая продаёт доступ к моделям. Независимой перепроверки в материале нет. Но методика, где оценивается пригодность кода к слиянию, выглядит разумнее многих публичных тестов.

Как использовать на практике

Командам, которые уже работают в Devin, имеет смысл прогнать на GPT-6.1 Sol типовые задачи на среднем уровне усилий и сравнить с текущей конфигурацией. По цифрам Windsurf, потери в качестве минимальны, а стоимость падает в разы. Для массовых мелких задач стоит проверить низкий режим: $0,21 при 58,1% закрывают значительную часть рутины. Максимальные уровни и топовые модели вроде Claude Opus 5.5 разумнее оставить для сложных задач, где важны последние пункты качества и их цена оправдана. Перед переключением всего потока полезно собрать собственную выборку из реальных тикетов: результат на закрытом бенчмарке не гарантирует такого же поведения на вашей кодовой базе.