Nanbeige4.3-33B rattrape Qwen3.8 27B sur l'index et le devance sur Terminal-Bench : 30% contre 6%

Choisir un modèle ouvert se résume souvent à un seul chiffre d'un classement, et ce chiffre peut être très trompeur. Imaginez que vous construisiez un agent qui lance lui-même des scripts dans la console, et que vous reteniez un modèle au score global élevé, mais peu à l'aise précisément avec la ligne de commande. Une analyse récente d'Artificial Analysis illustre ce cas : Nanbeige4.

3-33B et Qwen3.8 27B obtiennent chacun 20 points sur l'index composite Intelligence Index v5 (il regroupe neuf tests). Pourtant, sur Terminal-Bench 4.

0, où le modèle résout des tâches dans un terminal, Nanbeige atteint 30%, contre seulement 6% pour Qwen. Sur les questions de niveau expert, c'est l'inverse. Conclusion pratique : il ne faut pas regarder le score global, mais le test qui ressemble le plus à votre tâche.

Présentation du modèle

Nanbeige est l'équipe de recherche de BOSS Zhipin, une plateforme chinoise de recherche d'emploi développée par la société Kanzhun. Nanbeige4.3-33B est un modèle dense (dense) de raisonnement de 33 milliards de paramètres. Il est distribué sous licence Apache 2.0, accepte et produit uniquement du texte, et sa fenêtre de contexte atteint 524 mille tokens. Selon Artificial Analysis, le modèle est assez compact pour tourner en local sur un ordinateur portable, même si, en pratique, il faudra vraisemblablement recourir à la compression des poids (quantification) et disposer d'une mémoire suffisante.

Par comparaison, Muse Glimmer (high, 30B) n'obtient que 6 points sur le même index. Nanbeige4.3-33B et Qwen3.8 27B, tous deux denses, établissent un nouveau point optimal de Pareto sur l'axe « score de l'index / nombre de paramètres » : à cette taille, il n'existe pas encore de meilleur compromis. Mais les modèles à architecture MoE (où seule une partie des paramètres travaille pour chaque token) prennent de l'avance : DeepSeek V4.1 Flash 1017 (max) a obtenu 33 points avec 552 milliards de paramètres au total et 16 milliards actifs par token.

Même score, points forts différents

L'enseignement principal du rapport tient à l'écart entre les tests individuels. Nanbeige est en tête sur :

• Terminal-Bench 4.0 (tâches en ligne de commande) : 30% contre 6% pour Qwen ;
• CritPt v2, partie difficile (problèmes de physique) : 16% contre 4% ;
• AutomationBench-AA (automatisation de processus de travail) : 53% contre 48%.

Qwen l'emporte là où il faut des connaissances et un travail soigné sur le code et les documents :

• AA-Briefcase v1.1 : 1391 Elo pour Qwen contre 1162 pour Nanbeige ;
• FrontierCode 2.0 : 15% contre 11% ;
• HLE-Diamond (questions de niveau expert) : 15% contre 7%.

Nanbeige ressemble donc davantage à un exécutant pour le terminal et l'automatisation, tandis que Qwen s'apparente à un interlocuteur plus érudit.

Un modèle prudent, et le prix des tokens

Sur AA-Omniscience v1.1, qui mesure les connaissances et la tendance à inventer, Nanbeige obtient −4 points et Qwen −6. Nanbeige hallucine nettement moins souvent : 18% contre 29%. L'explication est simple : le modèle ne se risque à répondre qu'à 29% des questions (43% pour Qwen) et refuse de répondre aux 71% restantes. Du coup, il fournit moins de réponses correctes : 12% contre 17%.

Si, dans votre produit, une fausse réponse coûte plus cher que le silence (support, recherche dans des documents internes, brouillons juridiques), ce comportement peut être un atout. Si l'utilisateur attend une réponse quelle qu'elle soit, c'est plutôt un défaut.

Il y a aussi un inconvénient côté coût. Par tâche de l'index, Nanbeige dépense en moyenne 158 mille tokens de sortie contre 110 mille pour Qwen, soit 44% de plus pour un même score global. Ce décompte inclut la réponse et le raisonnement, y compris les étapes de l'agent avec appel d'outils. En exécution locale, cela signifie une attente plus longue ; avec une facturation au token, une note plus élevée.

Que faire de ces résultats

Premièrement, le modèle ne dispose pas encore d'API publique, ni de la part de l'équipe elle-même ni de fournisseurs tiers. On ne peut l'essayer que sur son propre matériel : le public visé est donc constitué d'enthousiastes et d'équipes disposant de leur propre infrastructure.

Deuxièmement, si vous développez un agent pour la console, les scripts et l'automatisation des tâches routinières, Nanbeige4.3-33B mérite d'être testé sur vos propres tâches. Si vous avez besoin d'un assistant pour du code complexe ou pour des questions où l'érudition compte, Qwen3.8 27B paraît plus fiable.

Troisièmement, évaluez à l'avance votre budget de tokens et de latence, et prévoyez la marche à suivre lorsque le modèle refuse de répondre : reformuler la question, la confier à un autre modèle ou la transmettre à un humain. La licence Apache 2.0 autorise par ailleurs le fine-tuning et l'usage commercial sans conditions particulières.