Artificial Analysis выпустил Intelligence Index v5: открытые модели отстали на 12 пунктов

Artificial Analysis выпустила Intelligence Index v5, самое крупное обновление своего композитного рейтинга с января. В индексе теперь девять оценок, и 60% его веса приходится на тесты с приватными наборами или скрытыми ответами. Это защита от утечки в обучающие данные. Лидирует Claude Opus 5.5 (max) с 58 баллами, при этом ни одна модель не выигрывает во всех девяти тестах.

Как перестроили индекс

В v5 два новых бенчмарка и три обновлённых. Четыре категории весят по 25%. Состав такой:

• Knowledge Work (25%): AA-Briefcase (15%), AutomationBench-AA (5%), GDP.pdf (5%).
• Coding (25%): FrontierCode 2.0 (15%) и Terminal-Bench 4.0 (10%).
• Science (25%): Terminal-Bench-Science (15%) и приватное подмножество CritPt v2 (10%).
• General (25%): AA-Omniscience v1.1 (15%: 10% точность, 5% отсутствие галлюцинаций) и HLE-Diamond (10%).

FrontierCode 2.0 — приватный бенчмарк Cognition из 132 задач в реальных open-source репозиториях. Результат засчитывается, только если мейнтейнер принял бы правку агента. Провал любой блокирующей проверки даёт ноль. Terminal-Bench-Science содержит 70 исследовательских задач в терминале, и задача считается решённой, только если проходят все тесты. HLE-Diamond заменил Humanity's Last Exam: это очищенная версия на 1000 вопросов от CAIS и Scale AI, поровну на рассуждение и знания. AA-Omniscience v1.1 очистили от насыщенных и публичных вопросов, добавили новые и исправили неоднозначные. Средний балл упал примерно на 2 пункта. CritPt v2 оценивают на закрытых 40 самых сложных вопросах из 70 по физике: 30, которые семь передовых моделей решили во всех пяти попытках, убрали.

Из индекса вышли GDPval-AA v2.1, SciCode и AA-LCR v1.1. Остаются AA-Briefcase, AutomationBench-AA, GDP.pdf и Terminal-Bench 4.0.

Кто впереди и кто отстал

Первые пять мест занимают модели Anthropic и OpenAI. Gemini 4 Argon (high) идёт следом с 50.

• Claude Opus 5.5 (max): 58 в целом. Лидирует в FrontierCode 2.0 (46%), HLE-Diamond (68%) и AA-Omniscience v1.1 (48). Стоит $10.04 за задачу индекса.
• GPT-6 Astra (max): 57. Лучший в Terminal-Bench-Science (63%) и CritPt v2 (72% на high effort). $6.24 за задачу.
• GPT-6.1 Sol (max): 55. $1.27 за задачу.
• GPT-6.1 Terra (max): самая дешёвая из десяти лучших, $0.96 за задачу.
• Claude Fable 5.1 (max): самая дорогая, $13.04. На HLE-Diamond набрала 60%.
• Claude Sonnet 5.5: лидер AA-Briefcase (1812 Elo), 42% в FrontierCode 2.0.
• Kimi K3.1 Pro: лучший в Terminal-Bench 4.0 (67%) и лучшая открытая модель в целом (46), но веса пока не опубликованы.
• Gemini 4 Argon: лидер AutomationBench-AA (78%).
• Muse Wonder Full: лидер GDP.pdf (33% all-pass).
• DeepSeek V4.1 Flash 1017 и GLM-5.3 (max): по 32, лучшие среди открытых моделей с опубликованными весами. У DeepSeek 28% в FrontierCode 2.0 и 13% в Terminal-Bench-Science.
• Claude Haiku 5.5 (max): 36, то есть выше любой модели с открытыми весами. В Terminal-Bench-Science набрала 20%.

Отрыв открытых моделей вырос с 3 пунктов в v4.3 до 12. Сильнее всего он заметен в HLE-Diamond (Kimi K3.1 Pro 37% против 68%) и Terminal-Bench-Science (34% против 63%). Если считать только опубликованные веса, отставание составляет 26 пунктов. Большинство открытых моделей в Terminal-Bench-Science показали меньше 10%.

Цена интеллекта и аппетит к токенам

GPT-6.1 Sol уступает Opus 5.5 всего 3 пункта при стоимости задачи примерно в восемь раз ниже. Режим усилия теперь влияет сильнее. Opus 5.5 даёт 35 на low и 58 на max, а стоимость растёт в десять раз ($0.98 против $10.04). Разброс Sonnet 5.5 вырос с 20 до 29 пунктов, у GPT-6.1 Sol вырос с 10 до 20.

Задачи стали тяжелее. Медиана выходных токенов на задачу выросла на две трети, с 35k до 59k. Агентные тесты (Terminal-Bench-Science, Terminal-Bench 4.0, AA-Briefcase, FrontierCode 2.0) дают 55% веса, но около 90% токенов. Одна Terminal-Bench-Science тянет примерно треть.

Отдельно запущен Progress Index v1. Он ставит модели, вышедшие с ноября 2022 года, на одну непрерывную шкалу. Так можно сравнивать модели, разделённые годами. Для выбора модели под текущие задачи по-прежнему нужен Intelligence Index. При разработке авторы опирались на Epoch Capabilities Index и поблагодарили Epoch AI и Anthropic.

Практический вывод для команд: выбирать модель по общему баллу уже недостаточно. Для автоматизации кода и науки смотрите на FrontierCode 2.0 и Terminal-Bench-Science, а для бюджета считайте стоимость задачи и режим усилия. Открытые модели пока подходят для простых сценариев, но в длинных агентных цепочках отстают сильно. Перед запуском в продакшен стоит прогнать собственные задачи при нескольких режимах усилия.