Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)

Gemma 4 no mini-PC gera 63 tokens por segundo, Qwen3.8 apenas 12,8: teste de 14 LLMs

Um autor do Habr passou 86 horas rodando 14 redes neurais locais em um mini-PC com processador Ryzen AI Max+ 395 e 96 GB de memória. O modelo denso Qwen3.8 27B gera 12,8 tokens por segundo, enquanto o Gemma 4 26B A4B, em que apenas parte dos parâmetros trabalha para cada palavra, chega a 63, quase cinco vezes mais rápido. Em compensação, a Qwen3.8 lê melhor documentos longos, e o autor a manteve para tarefas complexas. Para um chat em tempo real, vale escolher o modelo rápido; para trabalho pesado em segundo plano, o denso.

Processado por IA de Хабр: Машинное обучение; editado por Hamidun News
Gemma 4 no mini-PC gera 63 tokens por segundo, Qwen3.8 apenas 12,8: teste de 14 LLMs
Fonte: Хабр: Машинное обучение. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalХабр: Машинное обучение ↗
Editor-chefe
Dado-chave #1O Windows liberou no máximo 48 GB de memória para a GPU integrada, enquanto o Ubuntu liberou 80 GiB
Dado-chave #2Modelos levam de 8 a 23 minutos para processar 200K tokens de contexto
Dado-chave #3O Gemma 4 26B Uncensored atende o chatbot, e o Qwen3.8 27B com MTP roda em segundo plano

Dois chatbots locais rodando no mesmo computador compacto podem responder com diferença de até cinco vezes na velocidade, mesmo com arquivos de modelo de tamanho quase idêntico. O autor da análise no Habr passou uma semana, 86 horas, rodando 14 redes neurais locais no mini-PC GMKtec EVO-X2. Dentro dele há um processador Ryzen AI Max+ 395 com a GPU integrada Radeon 8060S e 96 GB de memória, compartilhada entre processador e placa de vídeo.

A velocidade foi medida em tokens por segundo: um token é um pedaço de palavra, e quanto mais deles por segundo, mais rápido o texto aparece na tela. O modelo denso Qwen3.8 27B gerou 12,8 tokens por segundo, e o Gemma 4 26B A4B, 63.

Se você pensa em transferir parte das tarefas da nuvem para a sua máquina, esses números ajudam a escolher tanto o modelo quanto o hardware.

O que foi o teste e por que ele foi feito

O software da máquina: Ubuntu 26.04, LM Studio 0.4.28 e o motor llama.cpp com Vulkan. Todas as camadas do modelo ficaram na GPU, o Flash Attention estava ativado e as requisições passaram uma a uma. Quase todos os modelos foram usados em versão comprimida Q4 (os pesos são armazenados em quatro bits para ocupar menos memória); a exceção foi o gpt-oss-20b, no formato MXFP4. O contexto, ou seja, a quantidade de texto que o modelo mantém à vista, foi testado com 64K, 128K e 256K tokens. Três modelos suportam apenas até 128K. O autor admite uma falha: não registrou o tipo de quantização do KV-cache, então não será possível reproduzir as condições em todos os detalhes.

A primeira lição prática diz respeito ao sistema operacional. Para LLMs locais, importa quanta memória é possível destinar à GPU. No Windows, na versão com 96 GB, não foi possível alocar mais de 48 GB; no Linux, conseguiu-se 80 GiB. Por isso o mini-PC roda Ubuntu. Se você considera uma plataforma parecida para modelos grandes, verifique esse limite antes de comprar.

A máquina surgiu por dois motivos: ela foi trazida da China, e então houve um ataque ao data center da Yandex. Os agentes do autor funcionavam na Yandex Cloud, e ele ficou sem as ferramentas habituais. Ele não calculou o retorno do investimento e vai continuar usando os modelos de nuvem de ponta enquanto puder. A questão era prática: o que do trabalho cotidiano pode ser totalmente entregue aos modelos locais.

Velocidade: o tamanho do arquivo não garante nada

Na fase eliminatória participaram 12 modelos. Na final chegaram quatro líderes e dois novos candidatos, incluídos depois da seleção, de modo que, no total, 14 passaram pelos testes. O resultado mais revelador diz respeito à arquitetura dos modelos. O modelo denso Qwen3.8 27B gera 12,8 tokens por segundo. O Gemma 4 26B A4B, no mesmo hardware, chega a 63, embora os arquivos tenham quase o mesmo tamanho.

A diferença se explica pela arquitetura. Em um modelo denso, todos os parâmetros trabalham a cada token. O Gemma 4 26B A4B é do tipo MoE ("mistura de especialistas"): para cada token entra apenas uma parte dos especialistas, pelo nome, cerca de 4 bilhões de parâmetros de um total de 26. A memória necessária é a mesma, mas o cálculo é bem menor, daí a diferença de cerca de cinco vezes. Em um chat, em que a pessoa espera a resposta, 12,8 tokens por segundo parecem digitação lenta, enquanto 63 já se aproximam de uma conversa normal.

Contexto longo: ler leva minutos

O tamanho da janela de contexto não afetou a velocidade nem a pontuação quando a requisição era a mesma. Ativar 256K "por precaução" não tem penalidade em si. Já a leitura de uma entrada longa custa caro: os modelos levam de 8 a 23 minutos para processar 200K tokens. Para um agente que relê regularmente um grande repositório ou um conjunto de documentos, isso é uma limitação direta do cenário.

No contexto longo, o Qwen3.8 teve o melhor desempenho. Esse é o principal motivo pelo qual o autor a manteve, apesar da geração mais lenta.

O que ficou carregado na memória

O autor mantém duas modelos carregadas ao mesmo tempo. O Gemma 4 26B Uncensored responde no bot conversacional, em que importam as réplicas rápidas. O Qwen3.8 27B com MTP assume tarefas mais complexas e o trabalho em segundo plano, em que dá para esperar, mas são necessárias qualidade e estabilidade com entradas grandes. MTP é o modo de previsão de múltiplos tokens, que ajuda a acelerar a geração.

O que tirar da análise. Primeiro, escolha o modelo de acordo com o tipo de tarefa: MoE rápido para diálogo, denso para processamento pesado em segundo plano. Segundo, reserve tempo para ler contexto longo, e não apenas para gerar a resposta. Terceiro, verifique quanta memória o seu sistema operacional entrega à GPU.

Também vale lembrar as limitações. Estes são resultados de uma pessoa, em uma única configuração. O autor refinou a metodologia no caminho, reiniciou parte das execuções, e a quantização do KV-cache não foi registrada. Como referência para um servidor doméstico ou de um pequeno escritório, os números servem; como benchmark rigoroso, não. O próprio autor diz que quer poupar alguns serões dos leitores, e não dar um veredito definitivo.

História

Perguntas frequentes sobre a notícia

O que foi o teste e por que ele foi feito?

O software da máquina: Ubuntu 26.04, LM Studio 0.4.28 e o motor llama.cpp com Vulkan. Todas as camadas do modelo ficaram na GPU, o Flash Attention estava ativado e as requisições passaram uma a uma. Quase todos os modelos foram usados em versão comprimida Q4 (os pesos são armazenados em quatro bits para ocupar menos memória); a exceção foi o gpt-oss-20b, no formato MXFP4. O contexto, ou seja, a quantidade de texto que o modelo mantém à vista, foi testado com 64K, 128K e 256K tokens.

O que se sabe sobre Velocidade: o tamanho do arquivo não garante nada?

Na fase eliminatória participaram 12 modelos. Na final chegaram quatro líderes e dois novos candidatos, incluídos depois da seleção, de modo que, no total, 14 passaram pelos testes. O resultado mais revelador diz respeito à arquitetura dos modelos. O modelo denso Qwen3.8 27B gera 12,8 tokens por segundo. O Gemma 4 26B A4B, no mesmo hardware, chega a 63, embora os arquivos tenham quase o mesmo tamanho. A diferença se explica pela arquitetura. Em um modelo denso, todos os parâmetros trabalham a cada token.

O que se sabe sobre Contexto longo: ler leva minutos?

O tamanho da janela de contexto não afetou a velocidade nem a pontuação quando a requisição era a mesma. Ativar 256K "por precaução" não tem penalidade em si. Já a leitura de uma entrada longa custa caro: os modelos levam de 8 a 23 minutos para processar 200K tokens. Para um agente que relê regularmente um grande repositório ou um conjunto de documentos, isso é uma limitação direta do cenário. No contexto longo, o Qwen3.8 teve o melhor desempenho.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…