Nanbeige4.3-33B alcança o Qwen3.8 27B no índice e vence no Terminal-Bench: 30% contra 6%

Na hora de escolher um modelo aberto, costuma-se olhar um único número do ranking, e ele pode enganar bastante. Imagine que você está construindo um agente que executa scripts sozinho no console e escolhe um modelo com nota geral alta, mas que se sai mal justamente na linha de comando. A análise recente da Artificial Analysis mostra um caso assim: Nanbeige4.

3-33B e Qwen3.8 27B marcaram 20 pontos cada no índice consolidado Intelligence Index v5 (que reúne nove testes). No Terminal-Bench 4.

0, em que o modelo resolve tarefas no terminal, porém, o Nanbeige tem 30% e o Qwen apenas 6%. Em perguntas de nível especialista, o quadro se inverte. A conclusão prática: o que importa não é a nota geral, e sim um teste parecido com a sua tarefa.

Que modelo é esse

Nanbeige é a equipe de pesquisa da BOSS Zhipin, plataforma chinesa de busca de emprego desenvolvida pela empresa Kanzhun. O Nanbeige4.3-33B é um modelo denso (dense) com raciocínio e 33 bilhões de parâmetros. A licença é Apache 2.0, a entrada e a saída são apenas texto, e a janela de contexto é de 524 mil tokens. Segundo a Artificial Analysis, o modelo é compacto o bastante para rodar localmente em um notebook, embora na prática provavelmente seja necessário comprimir os pesos (quantização) e ter memória suficiente.

Para comparação: o Muse Glimmer (high, 30B) fez apenas 6 pontos no mesmo índice. Nanbeige4.3-33B e Qwen3.8 27B, ambos densos, estabelecem um novo ponto ótimo de Pareto nas coordenadas «pontuação no índice × número de parâmetros»: nesse tamanho, ainda não há equilíbrio melhor. Mas os modelos com arquitetura MoE (em que apenas parte dos parâmetros trabalha a cada token) avançam mais: o DeepSeek V4.1 Flash 1017 (max) fez 33 pontos, com 552 bilhões de parâmetros no total e 16 bilhões ativos por token.

Mesma nota, pontos fortes diferentes

O principal no relatório é a dispersão entre os testes individuais. O Nanbeige fica à frente nestes:

• Terminal-Bench 4.0 (tarefas na linha de comando): 30% contra 6% do Qwen;
• CritPt v2, parte difícil (problemas de física): 16% contra 4%;
• AutomationBench-AA (automação de fluxos de trabalho): 53% contra 48%.

O Qwen lidera onde são necessários conhecimento e trabalho cuidadoso com código e documentos:

• AA-Briefcase v1.1: 1391 Elo do Qwen contra 1162 do Nanbeige;
• FrontierCode 2.0: 15% contra 11%;
• HLE-Diamond (perguntas de nível especialista): 15% contra 7%.

Na prática, o Nanbeige se parece mais com um executor para terminal e automação, enquanto o Qwen lembra um interlocutor mais erudito.

Um modelo cauteloso e o preço dos tokens

No teste AA-Omniscience v1.1, que mede conhecimento e tendência a inventar respostas, o Nanbeige obteve −4 pontos e o Qwen, −6. O Nanbeige alucina bem menos: 18% contra 29%. A razão é simples: o modelo só se arrisca a responder 29% das perguntas (o Qwen, 43%) e se recusa a responder nas outras 71%. Por isso, acerta menos: 12% contra 17%.

Se, no seu produto, uma resposta falsa custa mais caro que o silêncio (suporte, busca em documentos internos, rascunhos jurídicos), esse comportamento pode ser uma vantagem. Se o usuário espera qualquer resposta, é mais um ponto negativo.

Há ainda um inconveniente de custo. Em cada tarefa do índice, o Nanbeige gasta em média 158 mil tokens de saída contra 110 mil do Qwen, 44% a mais com a mesma nota geral. A contagem inclui tanto a resposta quanto o raciocínio, inclusive os passos do agente com chamada de ferramentas. Em execução local, isso significa espera mais longa; com pagamento por token, uma conta mais alta.

O que fazer com isso

Primeiro, o modelo ainda não tem API pública, nem da própria equipe nem de provedores terceiros. Só é possível testá-lo no seu próprio hardware, de modo que o público são entusiastas e equipes com infraestrutura própria.

Segundo, se você está desenvolvendo um agente para console, scripts e automação de tarefas rotineiras, vale rodar o Nanbeige4.3-33B nas suas tarefas. Se precisa de um assistente para código complexo ou para perguntas em que o conhecimento importa, o Qwen3.8 27B parece mais confiável.

Terceiro, estime com antecedência o orçamento de tokens e a latência, e defina o que fazer quando o modelo se recusar a responder: refazer a pergunta, passar para outro modelo ou encaminhar a um humano. Nesse ponto, a licença Apache 2.0 permite fine-tuning e uso comercial sem condições especiais.