Google показала Gemini 4 Carbon: 88% в поиске уязвимостей и первое место в рейтинге

Google представила Gemini 4 Carbon, новую флагманскую языковую модель. Её настраивали под три задачи: кибербезопасность, программирование и многодневную самостоятельную работу ИИ-агентов. В рейтинге Artificial Analysis Intelligence Index v5.0, который сводит результаты нескольких тестов в один общий балл, Carbon набрала 59 и вышла на первое место. Самая заметная цифра релиза относится к безопасности: 88,2% в тесте SEC-bench Pro, где модель должна находить настоящие уязвимости в программном обеспечении. Пока доступ получат только специалисты по кибербезопасности, массовый запуск Google обещает позже.

Что измеряли тесты и сколько набрала модель

Google показала четыре бенчмарка, и каждый проверяет свой этап работы с уязвимым кодом: найти брешь, доказать, что ею можно воспользоваться, закрыть её и написать нормальный интерфейс.

• SEC-bench Pro: 88,2%. Модель ищет реальные уязвимости в программах. Это самый высокий результат из приведённых. • ExploitGym: 54,8%. Проверяет, можно ли эксплуатировать найденную уязвимость, то есть превратить её из теоретической проблемы в рабочую атаку. Такой тест показывает, насколько модель опасна в чужих руках и насколько полезна защитникам, которым нужно проверять свои системы. • CWE-bench: 71%. Модель автоматически исправляет уязвимый код. CWE здесь означает общепринятый каталог типов программных ошибок. • WebDev Arena: 1769 Elo, четвёртое место. Это рейтинг разработки веб-интерфейсов, который строится на парных сравнениях результатов моделей. Единственный тест, где Carbon не лидирует.

Все числа опубликовала сама Google. Независимо подтверждён только общий балл рейтинга Artificial Analysis.

Несколько дней работы без человека

Для инженеров интереснее всего заявление об автономности. По словам Google, внутри компании Carbon решала сложные инженерные задачи в больших кодовых базах несколько дней подряд: искала причины ошибок и сама их исправляла. Раньше ИИ-агенты обычно сбивались с курса на длинных задачах, терялись в контексте или повторяли одни и те же действия.

Компания приводит и сравнения с другими моделями:

• Вдвое лучше, чем у Gemini 4 Argon, модель пишет безопасный код по внутренним тестам Google. • В 10 раз эффективнее другой передовой модели (какой именно, Google не уточняет) она создаёт качественные патчи для браузера Chrome. Это оценка самой команды Chrome, а не независимый замер. • На 80% меньше серьёзных нарушений инструкций при работе с кодом. Речь о случаях, когда агент делает не то, что просили, или выходит за рамки задачи. • Вдвое меньше необоснованных утверждений по сравнению с Argon. Проще говоря, модель вдвое реже выдаёт непроверенное за факт.

Отдельно Google говорит про prompt injection. Так называют атаку, когда в тексте на веб-странице или в документе спрятана команда для ИИ-агента и он выполняет её вместо задачи пользователя. По данным компании, Carbon отразила все проверенные атаки в одном из бенчмарков. Оговорка важная: речь об одном наборе тестов, а не о полной защите. Для агентов, которым дают доступ к почте, коду и серверам, этот риск остаётся одним из главных.

Кому дадут доступ и сколько это будет стоить

Сначала модель получат специалисты по кибербезопасности. Логика понятна: инструмент, который хорошо находит и эксплуатирует уязвимости, полезен защитникам, но опасен при утечке к атакующим. Поэтапный запуск даёт Google время проверить, как модель ведёт себя в реальной работе. Сроки массового релиза компания не назвала.

Цена API после запуска на вводном тарифе:

• $2 за миллион входных токенов (токен примерно равен слогу или короткому слову, то есть это текст, который вы отправляете модели); • $10 за миллион выходных токенов (текст, который модель генерирует в ответ).

Для флагманской модели цена умеренная. Агентские задачи на несколько дней съедают очень много токенов, так что итоговый счёт будет зависеть от того, насколько экономно модель ведёт себя на длинных сессиях. Слово «вводный» намекает, что тариф со временем может измениться.

Что делать командам безопасности и разработки

Пока Carbon доступна узкому кругу, практический вывод такой. Если вы отвечаете за безопасность, стоит заранее подготовить тестовые репозитории и процесс проверки найденных уязвимостей людьми: даже 88% в бенчмарке означает, что часть находок будет ложной, а часть реальных брешей модель пропустит. Если вы разрабатываете продукты с ИИ-агентами, цифры про нарушения инструкций и необоснованные утверждения лучше перепроверить на собственных задачах, как только появится доступ. Заявления разработчика о своей модели полезны как ориентир, но не заменяют независимых замеров.