Claude Fable 5.2 в Devin набрал 49,1% на FrontierCode 2.0 против 32,4% у 5.1

Знакомая история: агент отчитался, что задача решена, тесты зелёные, а на ревью выясняется, что код нельзя мёрджить. Он не следует конвенциям репозитория, ломает соседний модуль или тащит лишнее. Именно эту разницу между «работает» и «можно вливать в main» пытается измерять бенчмарк FrontierCode 2.0 от команды Windsurf. Теперь на нём новый лидер: Claude Fable 5.2, который стал доступен в Devin.

Что показали цифры

По данным Windsurf, Fable 5.2 набрал 49,1% на FrontierCode 2.0. Для сравнения:

• Fable 5.1 — 32,4%.
• Opus 5.5 — 45,5%.

Прирост относительно предыдущей версии составляет почти 17 процентных пунктов. Это не косметический апдейт, а заметный скачок в качестве кода. Разрыв с Opus 5.5 скромнее, около 3,6 пункта, но модель всё равно вышла на первое место.

Вторая часть заявления интереснее для тех, кто считает деньги. По словам авторов, Fable 5.2 даже на низком уровне reasoning effort превосходит лучший результат Fable 5.1, а стоит при этом меньше трети от цены задачи. Если это подтвердится на ваших данных, то апгрейд даёт сразу два эффекта: код становится лучше, а счёт за API меньше. Обычно эти две вещи приходится обменивать друг на друга.

Как устроена оценка и почему это важно

FrontierCode 2.0 оценивает модели на реальных инженерных задачах по критериям качества и мёрджабельности. Итоговый балл — взвешенная сумма пунктов рубрики. Есть и жёсткое правило: решение, которое не проходит блокирующие критерии, получает ноль. Это принципиально отличается от привычных тестов вроде «прошли юнит-тесты или нет». Код, который формально работает, но нарушает стандарты проекта, здесь не засчитывается.

Стоимость на графике Windsurf считает как среднюю сумму в долларах за один прогон по публичным ценам API с учётом открытых скидок. То есть это не внутренняя себестоимость, а то, что заплатили бы вы. Такие цифры можно хотя бы грубо перенести на свой бюджет.

Ограничения и что делать на практике

Главная оговорка очевидна: бенчмарк придумала и ведёт сама Windsurf, она же продаёт Devin. Это не значит, что цифры недостоверны. Но это значит, что независимой проверки здесь нет. Нет и деталей, которые стоило бы знать перед выводами: сколько задач в наборе, какие языки и стеки, насколько стабилен результат между прогонами. Разница в 3,6 пункта между Fable 5.2 и Opus 5.5 может оказаться в пределах шума, а может и нет, этого из публикации не понять.

Поэтому практический вывод такой.

• Если вы уже пользуетесь Devin, попробуйте Fable 5.2 на нескольких своих типичных задачах, включая неприятные: рефакторинг, багфикс в чужом коде, правка с оглядкой на конвенции.
• Начните с низкого reasoning. Заявленная экономия, втрое дешевле лучшего результата прошлой версии, потенциально самая ценная часть релиза. Проверьте, хватает ли вам этого режима, прежде чем платить за высокий.
• Считайте метрику, которая важна вам. Доля PR, принятых без правок, и время ревью покажут больше, чем любой публичный лидерборд.

Итог: Fable 5.2 выглядит сильным обновлением для агентной разработки, особенно из-за связки «лучше и дешевле». Но пока это заявление производителя на его собственном бенчмарке, и решать, стоит ли переключаться, нужно по результатам на вашей кодовой базе.