Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарX: @ArtificialAnlys→ оригинал

Два Claude возглавили рейтинг кодинг-агентов с 58 баллами, а задача стоит от $1,51 до $44,22

Artificial Analysis обновила рейтинг кодинг-агентов: он проверяет не модель отдельно, а связку модели с обвязкой вроде Claude Code. Первое место с 58 баллами по шкале индекса делят Claude Fable 5.2 и Claude Opus 5.5. Цена задачи у конфигураций от 48 баллов различается в 30 раз: $1,51 у Codex с GPT-6.1 Sol против $44,22 у Claude Code с Fable 5.2 (max). Выбирайте агента по паре «балл и цена задачи».

AI-обработка оригинала X: @ArtificialAnlys; редакция Hamidun News
Два Claude возглавили рейтинг кодинг-агентов с 58 баллами, а задача стоит от $1,51 до $44,22
Источник: X: @ArtificialAnlys. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @ArtificialAnlys ↗
Главный редактор
Ключевой факт #1Из-за нового FrontierCode 2.0 баллы упали в среднем на 5 пунктов
FrontierCode 2.0132 задачи, оценка — принял бы мейнтейнер правку
Только Codex с GPT-6.1 Terra не проселв пределах 1 балла

Когда команда выбирает ИИ-помощника для программирования, названия модели мало. Одна и та же модель работает по-разному в зависимости от «обвязки» — программы, которая даёт ей доступ к репозиторию и терминалу: Claude Code, Codex, Antigravity CLI или Devin Fusion CLI. Именно такие связки и измеряет независимая лаборатория Artificial Analysis в своём Coding Agent Index. Вышла версия 2.1: Claude Fable 5.2 и Claude Opus 5.5 делят первое место с 58 баллами по шкале индекса, а цена одной задачи у сильных связок различается примерно в 30 раз — от $1,51 до $44,22.

Что поменяли в индексе

В версии 2.1 обновили два теста из трёх. Первый — FrontierCode: вместо версии 1.1 теперь FrontierCode-AA 2.0, собственная реализация набора FrontierCode 2.0 от компании Cognition. В нём 132 реальные задачи, и проверяют не формальное прохождение тестов, а понятный всем разработчикам критерий: принял бы мейнтейнер репозитория правку, которую предложил агент. Это похоже на код-ревью в настоящем проекте.

Второй — Terminal-Bench: версию 4.0 заменили на 4.1. Задач по-прежнему 66, но проверяющие скрипты стали надёжнее и лучше защищены от reward hacking. Так называют ситуацию, когда агент находит лазейку и получает зачёт, не решив задачу. Третий тест, SWE-Atlas-QnA-AA, из индекса не убрали.

Из-за более строгого FrontierCode-AA 2.0 баллы в v2.1 ниже: модели в среднем потеряли 5 пунктов. Единственная конфигурация, которая почти не просела, — Codex с GPT-6.1 Terra (max): её результат остался в пределах 1 балла от прежнего. Поэтому цифры v2.1 нельзя напрямую сравнивать с цифрами прошлых версий: изменился сам набор задач.

Кто впереди

Первое место с 58 баллами делят две связки на моделях Anthropic. Claude Fable 5.2 получает 58 и в режиме xhigh, и в режиме high в Claude Code. Claude Opus 5.5 (max) тоже набирает 58 в Claude Code, а ещё в паре с GPT-6 Luna High в мультимодельной среде Cognition — Devin Fusion CLI.

Любопытная деталь: Claude Fable 5.2 в режиме max получил только 56. По данным Artificial Analysis, больше его попыток упёрлось в лимит времени на задачу. Выходит, самый «усердный» режим не гарантирует лучший результат: агент может просто не уложиться в срок. Следом идут Claude Sonnet 5.5 (max) с 56 баллами в Claude Code и Gemini 4 Carbon (high) с 55 баллами в Antigravity CLI.

Цена против качества

Для бюджета самая важная цифра — стоимость. Среди конфигураций, набравших 48 баллов и больше, цена одной задачи отличается примерно в 30 раз. Самая дешёвая — Codex с GPT-6.1 Sol (max): 52 балла и $1,51 за задачу. Самая дорогая — Claude Code с Claude Fable 5.2 (max): 56 баллов и $44,22.

Разрыв в качестве между этими двумя вариантами — 4 балла, а в цене — почти в 30 раз. Если агент запускается на сотнях задач в день, это уже не академический нюанс, а крупная строка расходов.

Что делать на практике

Во-первых, не переносите чужой рейтинг на свой стек без проверки: сменилась обвязка — сменился результат. Во-вторых, смотрите на балл вместе с ценой и лимитами времени: режим «максимум» может стоить дороже и всё равно проиграть более лёгкому. В-третьих, помните об ограничениях: это один независимый индекс из трёх тестов, и он не знает специфики вашего кода.

Разумный план: возьмите две-три конфигурации из верхней части таблицы, обязательно включите одну недорогую, и прогоните их на собственных задачах из своего репозитория. Публичный индекс подскажет, с чего начать, а решать должна стоимость принятой правки именно в вашем проекте.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что поменяли в индексе?

В версии 2.1 обновили два теста из трёх. Первый — FrontierCode: вместо версии 1.1 теперь FrontierCode-AA 2.0, собственная реализация набора FrontierCode 2.0 от компании Cognition. В нём 132 реальные задачи, и проверяют не формальное прохождение тестов, а понятный всем разработчикам критерий: принял бы мейнтейнер репозитория правку, которую предложил агент. Это похоже на код-ревью в настоящем проекте. Второй — Terminal-Bench: версию 4.0 заменили на 4.1.

Что известно по теме: кто впереди?

Первое место с 58 баллами делят две связки на моделях Anthropic. Claude Fable 5.2 получает 58 и в режиме xhigh, и в режиме high в Claude Code. Claude Opus 5.5 (max) тоже набирает 58 в Claude Code, а ещё в паре с GPT-6 Luna High в мультимодельной среде Cognition — Devin Fusion CLI. Любопытная деталь: Claude Fable 5.2 в режиме max получил только 56. По данным Artificial Analysis, больше его попыток упёрлось в лимит времени на задачу.

Что известно по теме: цена против качества?

Для бюджета самая важная цифра — стоимость. Среди конфигураций, набравших 48 баллов и больше, цена одной задачи отличается примерно в 30 раз. Самая дешёвая — Codex с GPT-6.1 Sol (max): 52 балла и $1,51 за задачу. Самая дорогая — Claude Code с Claude Fable 5.2 (max): 56 баллов и $44,22. Разрыв в качестве между этими двумя вариантами — 4 балла, а в цене — почти в 30 раз. Если агент запускается на сотнях задач в день, это уже не академический нюанс, а крупная строка расходов.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…