Gemini 4 Carbon набрала 40% в FrontierCode 2.0 от Cognition при $4,04 за задачу

Команда Cognition, которая делает ИИ-инженера Devin, опубликовала в X первые результаты Gemini 4 Carbon и Gemini 4 Argon на собственном бенчмарке FrontierCode 2.0. По описанию авторов, тест измеряет способность модели выходить за рамки спецификации, то есть делать больше, чем прямо записано в задании. Gemini 4 Carbon показала 40% и обходится в $4,04 за задачу. Cognition называет это результатом около SOTA, но признаёт, что модель идёт позади Claude Opus 5.5, GPT-6 Astra и ещё одной модели Claude.

Что известно о Gemini 4 Carbon и Argon

Из поста следует немного, и цифры стоит перечислить аккуратно. Gemini 4 Carbon набрала 40% на FrontierCode 2.0. Средняя стоимость решения одной задачи составила $4,04. Выше в рейтинге стоят Claude Opus 5.5, GPT-6 Astra и ещё одна модель семейства Claude. Её название в тексте поста обрезано, поэтому точное место Carbon в таблице назвать нельзя: известно только, что она позади трёх моделей.

Про вторую модель, Gemini 4 Argon, в тексте поста нет ни балла, ни стоимости. Cognition сообщает, что обе модели прогнали через бенчмарк, но цифры приводит только для Carbon. Полная картина, вероятно, лежит в приложенной картинке или таблице, которая в нашем материале недоступна. Поэтому сравнивать Carbon и Argon между собой на основании одного поста нельзя.

Зачем проверять модель на выходе за рамки спецификации

Большинство популярных кодинговых тестов проверяет, выполняет ли модель чёткое задание: чинит баг, проходит заранее написанные тесты. В реальной разработке задача почти всегда сформулирована неполно. Хороший инженер замечает пропущенные граничные случаи, согласует интерфейсы с остальным кодом и не ломает то, что в тикете не упомянуто. Именно эту способность FrontierCode 2.0, по заявлению Cognition, и пытается измерить.

Для компании это прикладной вопрос. Devin работает с задачами из реальных репозиториев, где спецификация редко бывает исчерпывающей. Бенчмарк, который отличает модель, строго следующую тексту, от модели, понимающей замысел, помогает выбирать, какую нейросеть ставить в основу агента. Здесь важно помнить, что методику и набор задач опубликовала сама Cognition, а не независимая лаборатория. Бенчмарк заточен под её сценарии, поэтому переносить результат на любой другой стек без проверки не стоит.

Как читать связку «40% и $4,04»

Сама по себе цифра 40% говорит мало: она зависит от сложности набора задач. Если FrontierCode 2.0 специально сделан трудным, 40% может быть сильным показателем, и формулировка «около SOTA» как раз на это намекает. Полезнее смотреть на качество вместе со стоимостью. При грубой прикидке $4,04 на попытку и 40% успешных попыток дают порядка $10 за одну решённую задачу. Это оценка редакции, а не заявление Cognition. Она предполагает, что стоимость примерно одинакова для всех задач, а на деле неудачные попытки нередко дороже.

Для команд, которые выбирают модель под агентный кодинг, из этого следует несколько практических вещей:

• Gemini 4 Carbon имеет смысл включить в сравнение наравне с Claude Opus 5.5 и GPT-6 Astra, особенно если важна цена прогона.
• Цифры для Claude Opus 5.5 и GPT-6 Astra в посте не приведены, поэтому оценить разрыв в баллах и в долларах по тексту нельзя.
• Чтобы не зависеть от чужого бенчмарка, прогоните модели на 20–30 собственных задачах из реального бэклога и считайте стоимость решённой задачи, а не попытки.

Итог скромный, но полезный. Google с Gemini 4 Carbon входит в группу конкурентоспособных моделей для агентного кодинга, однако лидерство в этом тесте по-прежнему у Anthropic и OpenAI. Окончательные выводы можно делать после публикации полной таблицы, включая результат Gemini 4 Argon и стоимость остальных моделей.