Kimi K3.1 Pro выходит на 4-е место AA Index с 55 баллами и рывком в агентах

Moonshot выпустила Kimi K3.1 Pro, и по данным Artificial Analysis новая reasoning-модель набрала 55 баллов в Intelligence Index. Это четвёртое место и прибавка в 11 пунктов к Kimi K3, у которой было 44. Выше стоят только Claude Opus 5.5 (58 баллов в режиме max with fallback), Claude Sonnet 5.5 (56) и Muse Wonder Full (56). Веса K3.1 Pro пока не опубликованы, но Moonshot, как ожидается, выложит их вскоре после запуска. Тогда модель станет сильнейшей среди open weights, а отрыв лучшей открытой модели от лучшей закрытой сократится с 12 пунктов до 3.

Агентный скачок: Terminal-Bench с 13% до 67%

Самые заметные изменения касаются агентной работы. На GDPval-AA, где модели решают задачи, близкие к реальной офисной и экспертной работе, K3.1 Pro набирает 1 846 Elo. Это на 312 пунктов больше, чем у Kimi K3, и третье место после Claude Opus 5.5 (1 866) и Muse Wonder Full (1 857). Разрыв с лидером составляет всего 20 Elo.

На Terminal-Bench 4.0 модель показывает 67% и обходит все остальные модели, включая Claude Sonnet 5.5 с его 64%. Для сравнения, Kimi K3 решала здесь только 13%. Такой рост за одно обновление говорит о целенаправленной работе над поведением модели в командной строке: планированием шагов, исправлением ошибок и доведением задач до конца.

AutomationBench-AA, проверяющий агентные сценарии в SaaS-продуктах, вырос с 58% до 73%.

Галлюцинации и наука: прогресс скромнее

В остальных тестах прибавки умеренные. Humanity's Last Exam вырос с 47% до 52%, CritPt с 23% до 25%, SciCode с 59% до 61%. Агентный рывок выглядит как главная ставка релиза, а не как равномерный прирост интеллекта.

Заметнее изменилась надёжность ответов. AA-Omniscience Index поднялся с 20 до 30: доля галлюцинаций упала с 53% до 44%, точность выросла с 48% до 51%. Модель чаще признаёт, что не знает ответа, вместо того чтобы выдумывать. Для агентов, которые сами вызывают инструменты и пишут в рабочие системы, это важное улучшение.

Цена за задачу и вопрос с весами

К3.1 Pro тратит 55K выходных токенов на задачу Intelligence Index. У Kimi K3 было 48K, то есть на 14% меньше. Зато цены у Moonshot снизились на 33% по всем трём тарифам: $2 за миллион входных токенов, $10 за выходные и $0,20 за попадания в кэш. В итоге стоимость прогона одной задачи осталась почти прежней, $1,98. Модель стала заметно сильнее, а платить за неё приходится столько же.

Ключевые характеристики:

• Intelligence Index: 55 баллов, 4-е место (Kimi K3: 44)
• GDPval-AA: 1 846 Elo, 3-е место, +312 к K3
• Terminal-Bench 4.0: 67% (K3: 13%), лучший результат среди моделей
• AutomationBench-AA: 73% (было 58%)
• AA-Omniscience Index: 30 (было 20), галлюцинации 44%
• Размер: 2,8T параметров всего, 104B активных
• Контекст: 1M токенов, вход: текст и изображения
• Цена: $2 / $10 / $0,20 за 1M токенов (вход / выход / кэш)
• Стоимость задачи: $1,98

Что проверить до перехода на K3.1 Pro

Команды, которые строят кодовых и автоматизирующих агентов, получают дешёвую альтернативу закрытым моделям. По Terminal-Bench 4.0 K3.1 Pro лучше Claude Sonnet 5.5, а по GDPval-AA отстаёт от лидера на 20 Elo. При этом токены стоят существенно меньше. Но выходных токенов модель тратит на 14% больше предшественницы, поэтому считать нужно стоимость задачи, а не только цену за миллион токенов.

Второй вопрос касается самих весов. Пока их нет, модель доступна только через API Moonshot. Самостоятельный хостинг 2,8T-модели с 104B активных параметров потребует серьёзного кластера, и выгоду от открытых весов в первую очередь получат облачные провайдеры и крупные компании с собственной инфраструктурой. Для остальных важнее другое: давление на цены закрытых лабораторий растёт, потому что разрыв по качеству сократился до 3 пунктов.

Перед миграцией стоит прогнать модель на собственных агентных сценариях. Бенчмарки показывают класс модели, но не заменяют проверку на реальных задачах. А отдельное внимание стоит уделить доле галлюцинаций: 44% остаются высоким значением.