Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Qwen em dois DGX Spark fica 34–59% mais rápido em tokens por segundo e supera o GLM

Um desenvolvedor perdeu o acesso ao Claude Code e passou a testar modelos locais em dois mini-computadores DGX Spark. O Qwen 3.8 Flash Next entrega 97–117 tokens por segundo, de 34% a 59% mais que em um único Spark. Em contexto de 128K, o primeiro token leva 39 segundos para aparecer, contra 57 antes. O GLM 5.3 Flash escreve de forma mais agradável, mas entra em loop. Para programar, o autor ficou com o Qwen.

Processado por IA de Habr AI; editado por Hamidun News
Qwen em dois DGX Spark fica 34–59% mais rápido em tokens por segundo e supera o GLM
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1O prefill (processamento do prompt) subiu de 47% a 62%, para 3,1–3,8 mil tokens por segundo
Dado-chave #2Em contexto de 256K, o primeiro token do Qwen aparece em 86 s; o do GLM, em 154 s
GLM90% da saída do Bash são comentários, e em um loop ele criou 119 arquivos

O que fazer quando o assistente de programação na nuvem some e o trabalho precisa continuar? O autor de uma série de textos no Habr perdeu a conta do Claude Code e está na segunda semana testando se dá para substituí-lo por modelos locais com pesos abertos. Para isso, instalou dois modelos, GLM 5.

3 Flash e Qwen 3.8 Flash Next, em dois mini-computadores NVIDIA DGX Spark conectados em cluster. Ele mediu a velocidade com três indicadores.

TPS é quantos tokens (pedaços de texto) o modelo produz por segundo. Prefill é a rapidez com que ele «lê» o prompt recebido, por exemplo um repositório inteiro. TTFT é quantos segundos passam até o primeiro token da resposta aparecer.

Imagine que você pede a um agente para achar um bug em um projeto grande: quanto maior o prefill e menor o TTFT, menos tempo você espera até o trabalho começar. Se você está escolhendo um modelo para um agente local, olhe não só os tokens por segundo, mas também esses indicadores e o comportamento do modelo em sessões longas. Resultado do experimento: o Qwen virou a ferramenta principal, e o GLM ficou de reserva.

Como foi a medição e o que apareceu

Os dois modelos rodaram no mesmo hardware: dois DGX Spark, motor TensorFold, contexto de até 1 milhão de tokens. A quantização, ou seja, o grau de compressão dos pesos, é diferente: o GLM usa 4 bits por peso (formato EXL3) e o Qwen usa INT4-AR. Para cada tamanho de contexto, de 2K a 256K tokens, o autor fez 10 medições. Os prompts eram únicos, com um trecho aleatório adicionado, então o cache de prefixo não ajudou: é uma leitura «a frio» do texto, do zero. Cada série foi precedida por uma requisição de aquecimento.

O Qwen 3.8 Flash Next em dois Spark gera 97–117 tokens por segundo, com prefill de 3,1–3,8 mil tokens por segundo. Em contexto de 128K, o primeiro token leva 39 segundos; em 256K, 86 segundos. O GLM, nos mesmos dois Spark, gera 65–72 tokens por segundo, com prefill de 1,5–1,8 mil tokens por segundo, e em 256K é preciso esperar 154 segundos pelo primeiro token. Por Spark, o GLM entrega 33–36 tokens por segundo, o pior resultado entre as quatro configurações do autor.

Comparação com um único Spark, do artigo anterior: a geração ficou de 34% a 59% mais rápida, o prefill, de 47% a 62%, e o TTFT em 128K caiu de 57 para 39 segundos (−32%). A velocidade não dobrou: a segunda máquina rende cerca de uma vez e meia, e não duas. O prefill escala melhor que a geração, por isso o cluster é especialmente útil quando o agente relê bases de código grandes com frequência. No artigo anterior, o DeepSeek em dois Spark entregava 99–109 tokens por segundo, ou seja, o Qwen fica no mesmo nível ou um pouco acima, e bem à frente em prefill e TTFT.

Há uma ressalva. O Spark único rodou com quantização NVFP4 de 4 bits, e o cluster, com INT4-AR, então a comparação não é totalmente precisa e mostra apenas a ordem de grandeza. Não há medição de 256K para um único Spark.

O que há de errado com o GLM 5.3 Flash

O paradoxo é que as respostas do GLM são mais agradáveis de ler. Segundo o autor, Qwen e DeepSeek às vezes confundem terminações de palavras e inventam novas, como «echoшить», ou inserem ideogramas. O GLM escreve de forma regular, move com cuidado os itens da lista de TODO nos níveis high e max e segue com precisão skills e templates.

Para o trabalho agêntico, porém, ele mostrou hábitos incômodos:

  • 90% da saída do Bash são comentários do próprio modelo. O contexto cresce rápido, e os blocos «Thinking» do início da sessão desaparecem: o raciocínio migra para dentro dos comandos.
  • Loops. Já na primeira tarefa, o agente criou 119 arquivos do tipo /tmp/probe119.php. O autor só percebeu porque seu plugin exibe as chamadas de ferramentas. Sem supervisão, o disco poderia ter enchido até a manhã.
  • Confusão sobre as próprias ações quando o contexto passa de 130–150 mil tokens. O modelo «investiga» quem trocou de branch e depois descobre que foi o próprio script calibrate.sh.

Depois disso, o autor adicionou ao AGENTS.md uma regra: se três tentativas diferentes dão o mesmo resultado, é preciso parar e rever a hipótese, sem lançar uma quarta. Conclusão prática: um agente autônomo precisa de um limite para ações repetitivas, senão vazam tanto tokens quanto espaço em disco.

Ferramentas em torno do modelo

O autor trabalha com a estrutura minimalista Pi no WSL e escreveu para ela um plugin para PhpStorm e outras IDEs da JetBrains. Em uma semana, ele acrescentou três recursos. O primeiro são notificações no Telegram quando o agente conclui um turno, pede permissão ou faz uma pergunta. O segundo são sessões remotas: dá para controlar o agente pelo navegador do celular. O terceiro é a ferramenta ask_question, equivalente ao AskUserQuestion do Claude Code, com a opção de adicionar uma nota a uma alternativa de resposta ou pedir que a pergunta seja explicada. Os novos recursos foram escritos por DeepSeek e Qwen: raramente funcionavam de primeira, mas na segunda ou terceira tentativa tudo rodava.

O efeito prático: o agente roda um benchmark à noite sem problemas, e uma pergunta dele às cinco da manhã pode ser respondida pelo celular. Sem limites de assinatura, o agente local trabalha o dia todo, e o autor admite que sua dependência de agentes só aumentou.

É importante lembrar que se trata da experiência de um único desenvolvedor em projetos pessoais, e não de um benchmark independente. Ele trabalhou pouco com o Qwen, e não há números sobre a qualidade do código. Como próximo passo, o autor promete um experimento com o nível de reasoning effort para programação.

História

Perguntas frequentes sobre a notícia

Como foi a medição e o que apareceu?

Os dois modelos rodaram no mesmo hardware: dois DGX Spark, motor TensorFold, contexto de até 1 milhão de tokens. A quantização, ou seja, o grau de compressão dos pesos, é diferente: o GLM usa 4 bits por peso (formato EXL3) e o Qwen usa INT4-AR. Para cada tamanho de contexto, de 2K a 256K tokens, o autor fez 10 medições. Os prompts eram únicos, com um trecho aleatório adicionado, então o cache de prefixo não ajudou: é uma leitura «a frio» do texto, do zero.

O que há de errado com o GLM 5.3 Flash?

O paradoxo é que as respostas do GLM são mais agradáveis de ler. Segundo o autor, Qwen e DeepSeek às vezes confundem terminações de palavras e inventam novas, como «echoшить», ou inserem ideogramas. O GLM escreve de forma regular, move com cuidado os itens da lista de TODO nos níveis high e max e segue com precisão skills e templates. Para o trabalho agêntico, porém, ele mostrou hábitos incômodos: 90% da saída do Bash são comentários do próprio modelo.

O que se sabe sobre Ferramentas em torno do modelo?

O autor trabalha com a estrutura minimalista Pi no WSL e escreveu para ela um plugin para PhpStorm e outras IDEs da JetBrains. Em uma semana, ele acrescentou três recursos. O primeiro são notificações no Telegram quando o agente conclui um turno, pede permissão ou faz uma pergunta. O segundo são sessões remotas: dá para controlar o agente pelo navegador do celular.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…