Devin Security получил Claude Mythos 5.2: 73,5 балла против 32,7 у Opus 5.5

Поиск уязвимостей в большой кодовой базе похож на уборку в квартире, где хозяин каждый день приносит новые вещи. Статические анализаторы шумят, пентест делают раз в квартал, а у security-команды всегда очередь из сотни тикетов. Cognition предлагает подкрутить этот процесс моделью: Claude Mythos 5.2 теперь доступна в Devin Security.

Что именно запустили

Devin Security — это управляемый сервис сканирования. Внутри работают «фронтирные» модели для кибербезопасности, но команде безопасности отдельный доступ к ним не нужен. Вы даёте репозиторий, Devin запускает скан и возвращает находки. Mythos 5.2 доступна пока не всем: только подходящим корпоративным клиентам, остальным предлагают подать заявку.

Отдельно Cognition обещает кредиты на бесплатные сканы. В одном месте поста речь идёт о $100M+, в другом — о «сотнях миллионов долларов» в кредитах Devin. Как это согласуется, неясно, так что смотрите на условия в заявке, а не на заголовки. Критерии отбора компания тоже не раскрывает.

Что показал бенчмарк

Cognition прогнала модели на внутреннем наборе из 25 репозиториев на C, Python, Go, PHP и TypeScript. Среди фреймворков — Django, Flask, Laravel и Next.js. Каждый репозиторий зафиксирован на коммите, где публично известные уязвимости ещё не исправлены. Всего их 1781.

Раньше бенчмарк проверял одно: нашёл ли Devin одну заранее заданную ошибку. Теперь багов в каждом репозитории много, поэтому можно мерить ещё и точность — какая доля находок настоящая. Итоговая метрика — F2 по шкале 0–100. Она учитывает и полноту (сколько известных дыр нашли), и точность, но полноте даёт больший вес. Каждую модель гоняли по три раза на репозиторий и усредняли.

Результаты:

• Claude Mythos 5.2 — 73,5
• Claude Mythos 5.1 — 56,9
• Claude Opus 5.5 — 32,7

Прирост к прошлой версии Mythos около 29%. Opus 5.5 отстаёт больше чем вдвое. Для одного поколения моделей это серьёзный скачок.

Почему цифрам стоит верить с оговорками

Во-первых, бенчмарк внутренний, а считал его продавец сервиса. Независимой репликации нет, и сам набор данных не опубликован.

Во-вторых, взяты уязвимости, о которых сообщали публично. Модель могла встречать их описания или патчи в обучающих данных. Пост это не обсуждает, и это моя догадка, но проверять такую утечку стоит. Находить известные баги проще, чем неизвестные в вашем закрытом коде.

В-третьих, F2 поощряет полноту. Для безопасности логика понятна: пропущенная дыра дороже лишней проверки. Но у ложных срабатываний есть цена, и платит её ваша команда разбора. Один общий балл не показывает, сколько мусора придётся читать вручную. Хорошо, что Cognition добавила precision в расчёт, но отдельно эти цифры в посте не приведены.

Что делать на практике

Если вы в корпоративном сегменте и отвечаете за безопасность, подайте заявку. Бесплатные кредиты — повод проверить сервис без бюджета на пилот.

Не оценивайте результат по одному баллу. Возьмите два-три своих репозитория, где уже есть известные и закрытые баги, и посчитайте две вещи: сколько из них нашёл скан и какую долю отчёта пришлось выбросить как шум. По вторым цифрам видно, во что обойдётся разбор.

Заранее выясните, куда уходит код: как хранятся данные, кто видит отчёты и что с ними происходит после скана. Для закрытых репозиториев это важнее разницы в баллах.

И не списывайте пентест. Модель, которая находит больше известных классов ошибок, — полезный дополнительный слой. Но уязвимости в бизнес-логике и неочевидные цепочки атак по этому бенчмарку не проверялись.

Главный вывод: связка «модель + управляемый сервис» заметно дешевеет для защитников. Остаётся вопрос, насколько 73,5 балла на чужом тесте превратятся в находки на вашем коде. Это можно проверить за пару недель, пока кредиты раздают.