Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

GLM 5.3 local acelerou IA no ESP32-S3 em 100%, e o Qwen 3.8 27B, em 30%

Um autor montou um servidor doméstico com duas Tesla V100 por 113 105 ₽ e passou aos modelos locais tarefas sem especificação detalhada. O teste principal era acelerar um pequeno modelo de linguagem no microcontrolador ESP32-S3, cujo motor era escrito em C puro. O GLM 5.3 levou a geração a ~20 tokens por segundo (+100%), e o Qwen 3.8 27B, a ~13 (+30%). Ou seja, mesmo numa build econômica, os modelos locais já dão conta de otimização de baixo nível. As duas versões otimizadas foram verificadas: os logits coincidem byte a byte com os do motor original. O Qwen 3.8 Flash Next travou na tarefa do ESP32 e não avançou.

Processado por IA de Habr AI; editado por Hamidun News
GLM 5.3 local acelerou IA no ESP32-S3 em 100%, e o Qwen 3.8 27B, em 30%
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1Os logits das duas versões coincidem byte a byte com os do motor original
Dado-chave #2O Qwen 3.8 Flash Next travou na tarefa do ESP32 e não avançou
Dado-chave #3O DeepSeek v4.1 Flash roda a 7–15 tok/s, por isso não entrou nos testes
GLM 5.3 local acelerou IA no ESP32-S3 em 100%, e o Qwen 3.8 27B, em 30%
Vídeo em destaque / Demo
Clique para reproduzir o vídeo original ou leia a análise completa abaixo.Assistir no YouTube ↗

Os modelos locais costumam ser avaliados sempre com as mesmas tarefas: «faça um clone de Minecraft» ou «desenhe a interface do Windows 11». O autor de um artigo no Habr achou isso entediante, montou um servidor em casa por 113 105 ₽ e deu aos modelos tarefas vagas, próximas do vibe coding, em que no lugar de uma especificação detalhada vem um «faça bem feito». O exemplo mais ilustrativo é o ESP32-S3, um microcontrolador barato que roda um pequeno modelo de linguagem.

O motor desse modelo era escrito em C puro, e os modelos tinham de reescrevê-lo para as instruções vetoriais do chip. A velocidade é medida em tokens por segundo: o GLM 5.3 chegou a cerca de 20 (+100% sobre o original), e o Qwen 3.

8 27B, a cerca de 13 (+30%). Para quem trabalha na prática, o teste responde a duas perguntas: quanto custa essa plataforma e o que realmente funciona nela.

Que servidor é esse e com que velocidade ele responde

A build reúne um processador AMD EPYC 7452, uma placa HUANANZHI H12D 8D, 64 GB de DDR4 (4 pentes de 16 GB), duas Nvidia V100 de 16 GB no formato SXM2 e um SSD Samsung PM9A1 de 1 TB. O watercooling custou cerca de 50 mil rublos a mais, e o autor recomenda não repetir a escolha se for possível dispensar a água customizada. Os preços valem para o momento da compra, meio ano atrás.

O EPYC foi escolhido pelas 128 linhas PCIe 4.0 e pelos oito canais de DDR4. Segundo o autor, essa placa é a única para EPYC de 2ª e 3ª geração com quatro slots x16 por um preço razoável.

A Supermicro h11ssl-i tem só três slots, e as demais opções custam a partir de 70 mil. A memória chegou a 2933 em overclock sem dificuldade.

Modelos MoE grandes rodam nesse hardware graças aos projetos Strata e Maya: eles economizam memória RAM e carregam os pesos do SSD em tempo real, durante a execução. As velocidades (o primeiro número é o processamento do prompt, o segundo é a geração, ambos em tokens por segundo):

  • Qwen 3.8 27B: 800–1000 e 50–70;
  • Qwen 3.8 Flash Next (125B): 500–1400 e 50–70;
  • GLM 5.3 Flash (320B): 200–600 e 15–20;
  • DeepSeek v4.1 Flash (763B): 180–250 e 7–15. Formalmente roda, mas é lento demais, por isso não entrou nos testes.

Tudo rodou no Windows 10 via opencode 1.19, com busca na web pelo searxng. O Qwen 27B foi executado com llama.cpp, contexto de 196 608 tokens e decodificação especulativa MTP, que acelera de forma perceptível a escrita de código.

Como os modelos se saíram nas tarefas

A primeira tarefa foi um leitor de chat para console em ANSI C com a biblioteca WolfSSL. GLM, Qwen 27B e Qwen Flash Next entregaram código funcional, mas no caso do 27B foi preciso avisar manualmente que o código não funcionava no Windows. O Muse Spark encontrou o endereço correto, mas o projeto não compilou, e ele desativou a verificação de TLS. O Gemma 4 pegou a URL errada e, em vez de usar o WolfSSL, chamou o curl via popen.

A segunda tarefa foi acelerar o motor esp32-ai no ESP32-S3 com esp-idf e instruções vetoriais. O Flash Next travou e não avançou nem após várias compactações de contexto. O Qwen 27B chegou a ~13 tok/s (+30%), usando funções da biblioteca ESP-DSP. O GLM 5.3 chegou a ~20 tok/s (+100%), escrevendo assembly para a extensão PIE. As duas versões foram verificadas: os logits coincidem byte a byte com os do motor original. Todos os modelos otimizaram o bloco head. O GLM chegou a otimizações quase idênticas às do Fable 5, que entregou 22–31 tok/s. A diferença é que o Fable acelerou também o bloco attn.

Onde o resultado é mais fraco

O gerador de nicknames foi um fracasso em criatividade. Os dois Qwen criaram pseudopalavras, o GLM, apenas combinações de palavras, e tudo ficou com ar de 2012: «ледянойщит9», «обсидианель», «supernovaRoot». O autor esperava ao menos cadeias de Markov, mas admite que a especificação era vaga. Na execução técnica, quase não há ressalvas.

Na tarefa contraditória da animação do fractal de Mandelbrot (1080p, 60 fps, ANSI C, GPU com arquitetura Blackwell), o C89 combina mal com GPU, já que CUDA é C++. Segundo o autor, o 27B pelo menos conseguiu desenhar o fractal.

Limitações e conclusão

São observações pessoais de um único autor: cada tarefa foi executada uma só vez, e as avaliações são em parte subjetivas. Os nomes dos modelos aparecem como na fonte. Conclusão prática: numa build de ~113 mil rublos, os modelos locais resolvem tarefas em C e embedded sem especificação detalhada. Para otimização complexa de baixo nível, o GLM 5.3 teve o melhor resultado, enquanto o Qwen 3.8 27B é de 3 a 4 vezes mais rápido na geração e serve para iterações rápidas. Ainda assim, vale conferir o resultado de qualquer modelo.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Que servidor é esse e com que velocidade ele responde?

A build reúne um processador AMD EPYC 7452, uma placa HUANANZHI H12D 8D, 64 GB de DDR4 (4 pentes de 16 GB), duas Nvidia V100 de 16 GB no formato SXM2 e um SSD Samsung PM9A1 de 1 TB. O watercooling custou cerca de 50 mil rublos a mais, e o autor recomenda não repetir a escolha se for possível dispensar a água customizada. Os preços valem para o momento da compra, meio ano atrás. O EPYC foi escolhido pelas 128 linhas PCIe 4.0 e pelos oito canais de DDR4.

Como os modelos se saíram nas tarefas?

A primeira tarefa foi um leitor de chat para console em ANSI C com a biblioteca WolfSSL. GLM, Qwen 27B e Qwen Flash Next entregaram código funcional, mas no caso do 27B foi preciso avisar manualmente que o código não funcionava no Windows. O Muse Spark encontrou o endereço correto, mas o projeto não compilou, e ele desativou a verificação de TLS. O Gemma 4 pegou a URL errada e, em vez de usar o WolfSSL, chamou o curl via popen.

Onde o resultado é mais fraco?

O gerador de nicknames foi um fracasso em criatividade. Os dois Qwen criaram pseudopalavras, o GLM, apenas combinações de palavras, e tudo ficou com ar de 2012: «ледянойщит9», «обсидианель», «supernovaRoot». O autor esperava ao menos cadeias de Markov, mas admite que a especificação era vaga. Na execução técnica, quase não há ressalvas. Na tarefa contraditória da animação do fractal de Mandelbrot (1080p, 60 fps, ANSI C, GPU com arquitetura Blackwell), o C89 combina mal com GPU, já que CUDA é C++.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…