Gemini 4 Carbon от Google набрала 88,2% в тесте на поиск уязвимостей, доступ пока закрытый

Google DeepMind объявила Gemini 4 Carbon, новую модель, которую называет своей самой сильной. Главная цифра анонса, 88,2%, получена в тесте SEC-bench Pro. В нём модель без помощи человека ищет настоящие уязвимости, то есть ошибки в реальных программах, через которые можно взломать систему. Carbon вышла через две недели после Gemini 4 Argon. Google делает упор на кибербезопасность и на длинные инженерные задачи, которые модель-агент решает в несколько шагов, иногда днями. Пока доступ ограничен: сначала модель получат отдельные специалисты по киберзащите. Почти все цифры ниже взяты из самого анонса Google.

Три теста на весь путь защитника

Google показывает, что Carbon проходит три этапа работы защитника: найти уязвимость, проверить, насколько она опасна, и исправить. Для этого компания приводит три внешних теста. Все три модель проходила без защитных ограничений.

• SEC-bench Pro. Проверяет поиск реальных уязвимостей в настоящих программах. У Carbon 88,2%, по словам Google, это лучший результат на сегодня. • ExploitGym. Проверяет, можно ли найденную дыру использовать для атаки. Защитникам это нужно, чтобы решить, что чинить первым, а что чинить вообще не стоит. У Carbon 54,8%, тоже лучший результат. • CWE-bench от компании Collinear. Проверяет, может ли модель найти причину ошибки и написать рабочее исправление. У Carbon 71,0%.

Есть и внутренние замеры Google. В тестах компании Carbon более чем вдвое чаще Argon пишет безопасный код. Команда браузера Chrome сообщила, что при создании качественных патчей Carbon сработала более чем в 10 раз лучше крупной модели другой лаборатории. Какой именно, Google не называет. Облачная платформа безопасности Wiz, которая принадлежит Google, отмечает, что Carbon лидирует в тестах на взлом веб-приложений. Это основа для её инициативы Scan for Good.

В сводном рейтинге Artificial Analysis Intelligence Index версии 5.0 Carbon на первом месте с 59 баллами. В WebDev Arena, где оценивают качество сайтов и веб-приложений, созданных моделями, она прибавила 89 пунктов рейтинга Эло и теперь четвёртая (1769). Google также говорит о росте в программировании, научных задачах, веб-разработке и понимании разных типов данных.

Работает днями и реже жульничает

Carbon сделана для долгих задач, где агент действует самостоятельно. Внутри Google её запускали на несколько дней, и она продолжала работу, когда упиралась в тупик. Типичные задачи: найти причину тонкой ошибки и исправить её в большой кодовой базе или в низкоуровневой системе.

Защиту Carbon унаследовала от Argon. Туда входят обучение модели, защита от злоупотреблений в реальном времени, устойчивость к prompt injection и контроль цепочки рассуждений модели. Prompt injection — это атака, при которой вредные команды прячут в данных, которые модель обрабатывает. Отдельно Google учила Carbon правильно вести себя в сложных задачах и под давлением. Цифры из анонса:

• Обман в тестах. В Terminal-Bench 4.0, тесте на работу агента в командной строке, успешные попытки обойти задачу лазейкой упали до 0,0%, а сами попытки до 0,4%.

Общая точность при этом выросла. • Тревожные сигналы. В живых рабочих сессиях с командами Google серьёзные предупреждения о том, что модель действует не так, как нужно, сократились почти на 80%.

• Выдумки. Утверждений без опоры на источники стало примерно вдвое меньше, чем у Argon. Если данных не хватает, Carbon пишет оговорки прямо в результат или перечисляет, что ещё нужно для продолжения, и ничего не придумывает.

• Неясные задачи. Вместо догадок модель собирает источники и показывает пользователю расхождения до начала работы. • Границы задачи.

Лишняя самодеятельность упала на 26%, а недоделки на 29%. План из многих шагов выполняется надёжнее и остаётся в рамках проекта. • Prompt injection.

В тесте Gray Swan Indirect Prompt Injection Argon пропускал 0,7% атак. Carbon не пропустила ни одной из проверенных.

Ноль процентов не значит, что модель нельзя взломать: набор атак в тесте ограничен, а реальные злоумышленники изобретательнее. Но для агента, которому доверяют репозиторий на несколько суток, такое поведение важно.

Кто получит доступ и сколько это стоит

Google выпускает модель осторожно. Компания участвует в добровольной проверке моделей перед выпуском, которую проводит правительство США. На этой неделе Carbon получают отдельные специалисты по киберзащите. Затем доступ постепенно откроют другим доверенным партнёрам через программу Fairwind. Разработчикам, компаниям и обычным пользователям модель обещают как можно скорее, но сроков нет. Пока Google собирает отзывы и дорабатывает защитные ограничения.

Цена такая же, как у Argon. На вводный период она составляет $2 за миллион входных токенов и $10 за миллион выходных. Токен — это небольшой фрагмент текста, на которые модель делит запрос и ответ. Входные токены из кэша, то есть повторно используемый контекст, стоят на 95% дешевле. После вводного периода цены вырастут вдвое: $4 и $20.

Если независимые замеры подтвердят цифры Google, поиск уязвимостей и подготовку исправлений можно будет почти целиком отдавать модели. Выиграют команды безопасности. Но модель, которая хорошо находит и использует дыры, может пригодиться и атакующим, поэтому закрытый запуск выглядит разумно. Тем, кто собирается встраивать Carbon в продукты, стоит заранее учесть удвоение тарифов.