FrontierCode: лучшие ИИ-модели не проходят ревью мейнтейнеров в 42% попыток

Даже сильнейшие кодинговые модели всё ещё часто пишут правки, которые мейнтейнер не смёржит. Artificial Analysis опубликовала первые независимые результаты FrontierCode 1.1, бенчмарка Cognition, построенного вместе с мейнтейнерами реальных open source проектов. Лидер, Claude Opus 5.5 (max with fallback), набирает в среднем 52%. Все блокирующие проверки проходят 58% его попыток, остальные 42% заканчиваются нулём. Результаты на 12 октября 2026 года.

Что именно проверяет FrontierCode

Каждая задача просит агента внести изменение в реальный репозиторий. Оценивается не только то, что тесты зелёные. Бенчмарк штрафует за избыточные правки и раздутые диффы, изменения файлов вне нужной области и бесполезные тесты. Модели сегодня хорошо решают кодинговые задачи, но их результат нередко требует серьёзной чистки перед мержем. FrontierCode пытается измерить именно этот зазор.

Cognition сделала набор вместе с мейнтейнерами 36 репозиториев. На каждую задачу они потратили больше 40 часов. Бенчмарк анонсирован в июне 2026 года, версия 1.1 вышла в июле и добавила правила честного использования интернета. Верификатор сочетает скрытые тесты и проверки команд, лимиты на число затронутых файлов и объём кода, а также ревью языковой моделью по критериям мейнтейнеров. Провал любой блокирующей проверки даёт 0. Тот, кто прошёл все, получает от 70% до 100%.

Artificial Analysis прогнала основной набор из 100 задач (всего в бенчмарке 150) по три попытки на задачу. Все модели работали в одной обвязке, открытом агентском харнессе Stirrup с лимитом 250 ходов. Судьёй выступал GPT-6 Luna (medium). Попытка, у которой сканер траекторий Cognition нашёл подглядывание за решением, тоже получает ноль. Задачи приватные, чтобы исключить утечку в обучающие данные.

Расклад на вершине

• Claude Opus 5.5 (max with fallback): 52% по баллу, 58% по pass rate, $10,15 за задачу.
• GPT-6.1 Sol (max) и Claude Fable 5.1 (max with fallback): по 49%. Sol стоит $0,81 за задачу, Fable $12,00.
• Лучшая open weights модель: MiMo-V2.6-Pro, 45% при $0,18 за задачу. DeepSeek V4.1 Flash (max) и Kimi K3 (max) идут следом с 44%.
• Девять моделей от шести лабораторий укладываются в диапазон 43–52%.
• Pass rate падает до 16% у Muse Glimmer (high).
• 9 из 100 задач не решила ни одна модель ни в одной попытке. Задач, которые прошли бы все модели во всех попытках, нет.

Цена, токены и время

Стоимость задачи различается более чем в 100 раз: от $0,09 у GPT-6 Luna (max), набравшего 42%, до $12,00 у Claude Fable 5.1. На парето-границе по соотношению балла и цены четыре модели: GPT-6 Luna (max) с 42% и $0,09, MiMo-V2.6-Pro с 45% и $0,18, GPT-6.1 Sol (max) с 49% и $0,81 и Claude Opus 5.5 с 52% и $10,15. Последний шаг, от Sol к Opus, добавляет 3 пункта за более чем 12-кратный рост цены.

Сравнения внутри семейств тоже показательны. GPT-6.1 Sol на 2 пункта выше GPT-6 Astra (max) и в пять раз дешевле: $0,81 против $4.22. Claude Sonnet 5.5 генерирует примерно на 50% больше выходных токенов, чем Opus 5.5, но из-за вдвое меньшей цены за токен обходится в $8,26 против $10,15.

Модели GPT-6 экономнее всех по токенам. GPT-6 Astra и GPT-6.1 Sol тратят около 27 тысяч и 33 тысяч выходных токенов на задачу. Claude Opus 5.5 тратит около 157 тысяч, а Claude Sonnet 5.5 около 236 тысяч, больше всех. Время на задачу зависит и от числа токенов, и от скорости вывода: от примерно 3 минут у Inkling (xhigh) до примерно 46 минут у Qwen3.8 Max (0902).

Как читать этот рейтинг

Практический вывод для команд, которые внедряют кодинговых агентов: разница между топ-моделями в 3–10 пунктов часто меньше, чем разница в цене на порядок. Если агент работает в автономном режиме и каждый PR всё равно проходит человеческое ревью, GPT-6.1 Sol или MiMo-V2.6-Pro на этих данных выглядят рациональнее дорогих флагманов. Плата за последние 3 пункта к лидеру оправдана только там, где цена ошибки высока.

Ещё одна рабочая метрика: 42% провалов у лидера означают, что человеческое ревью остаётся обязательным. Стоит следить не только за прохождением тестов, но и за размером диффов и за побочными правками. FrontierCode пока выходит отдельным лидербордом и не входит в Artificial Analysis Intelligence Index. В Coding Agents leaderboard его обещают добавить в ближайшее время.