Nanbeige4.3-33B догнала Qwen3.8 27B по индексу и выиграла в Terminal-Bench: 30% против 6%

Выбирать открытую модель обычно приходится по одной цифре из рейтинга, но она может сильно обмануть. Представьте, что вы строите агента, который сам запускает скрипты в консоли, и берёте модель с высоким общим баллом, а она плохо справляется именно с командной строкой. Свежий разбор Artificial Analysis показывает такой случай: Nanbeige4.3-33B и Qwen3.8 27B набрали по 20 баллов в сводном индексе Intelligence Index v5 (он объединяет девять тестов), но в Terminal-Bench 4.0, где модель решает задачи в терминале, у Nanbeige 30%, а у Qwen только 6%. Зато в вопросах экспертного уровня картина обратная. Вывод для практики: смотреть нужно не на общий балл, а на тест, похожий на вашу задачу.

Что за модель

Nanbeige — исследовательская команда BOSS Zhipin, китайской платформы по поиску работы, которую развивает компания Kanzhun. Nanbeige4.3-33B — плотная (dense) модель с рассуждениями на 33 млрд параметров. Лицензия Apache 2.0, на входе и выходе только текст, контекстное окно — 524 тысячи токенов. По оценке Artificial Analysis, модель достаточно компактна, чтобы запускать её локально на ноутбуке, хотя на практике, скорее всего, понадобятся сжатие весов (квантизация) и достаточный объём памяти.

Для сравнения: Muse Glimmer (high, 30B) получила в том же индексе всего 6 баллов. Nanbeige4.3-33B и Qwen3.8 27B, обе плотные, задают новую оптимальную точку по Парето в координатах «балл индекса — число параметров»: при таком размере лучшего баланса пока нет. Но модели с архитектурой MoE (когда на каждый токен работает лишь часть параметров) уходят вперёд: DeepSeek V4.1 Flash 1017 (max) набрала 33 балла при 552 млрд параметров всего и 16 млрд активных на токен.

Одинаковый балл, разные сильные стороны

Главное в отчёте — разброс по отдельным тестам. Nanbeige впереди здесь:

• Terminal-Bench 4.0 (задачи в командной строке): 30% против 6% у Qwen;
• CritPt v2, сложная часть (физические задачи): 16% против 4%;
• AutomationBench-AA (автоматизация рабочих процессов): 53% против 48%.

Qwen впереди там, где нужны знания и аккуратная работа с кодом и документами:

• AA-Briefcase v1.1: 1391 Elo у Qwen против 1162 у Nanbeige;
• FrontierCode 2.0: 15% против 11%;
• HLE-Diamond (вопросы экспертного уровня): 15% против 7%.

Получается, что Nanbeige больше похожа на исполнителя для терминала и автоматизации, а Qwen — на более эрудированного собеседника.

Осторожная модель и цена за токены

В тесте AA-Omniscience v1.1, где измеряют знания и склонность выдумывать, Nanbeige получила −4 балла, а Qwen — −6. Галлюцинирует она заметно реже: 18% против 29%. Причина простая: модель берётся отвечать только на 29% вопросов (у Qwen — 43%), а на остальные 71% отказывается. Из-за этого верных ответов у неё меньше: 12% против 17%.

Если в вашем продукте ложный ответ дороже молчания (поддержка, поиск по внутренним документам, юридические черновики), такое поведение может быть плюсом. Если пользователь ждёт хоть какой-то ответ, это скорее минус.

Есть и неудобство по стоимости. На одну задачу индекса Nanbeige тратит в среднем 158 тысяч выходных токенов против 110 тысяч у Qwen — на 44% больше при том же общем балле. В подсчёт входят и ответ, и рассуждения, в том числе шаги агента с вызовом инструментов. При локальном запуске это означает более долгое ожидание, при оплате по токенам — более высокий счёт.

Что с этим делать

Во-первых, публичного API у модели пока нет: ни от самой команды, ни от сторонних провайдеров. Попробовать можно только на своём железе, поэтому аудитория — энтузиасты и команды с собственной инфраструктурой.

Во-вторых, если вы делаете агента для консоли, скриптов и автоматизации рутины, Nanbeige4.3-33B стоит прогнать на ваших задачах. Если нужен помощник по сложному коду или вопросам, где важна эрудиция, надёжнее выглядит Qwen3.8 27B.

В-третьих, заранее прикиньте бюджет на токены и задержки и продумайте, что делать, когда модель отказалась отвечать: переспросить, передать другой модели или отдать человеку. Лицензия Apache 2.0 при этом разрешает дообучение и коммерческое использование без особых условий.