Gemma 4 no mini-PC gera 63 tokens por segundo, Qwen3.8 apenas 12,8: teste de 14 LLMs
Um autor do Habr passou 86 horas rodando 14 redes neurais locais em um mini-PC com processador Ryzen AI Max+ 395 e 96 GB de memória. O modelo denso Qwen3.8 27B gera 12,8 tokens por segundo, enquanto o Gemma 4 26B A4B, em que apenas parte dos parâmetros trabalha para cada palavra, chega a 63, quase cinco vezes mais rápido. Em compensação, a Qwen3.8 lê melhor documentos longos, e o autor a manteve para tarefas complexas. Para um chat em tempo real, vale escolher o modelo rápido; para trabalho pesado em segundo plano, o denso.
Processado por IA de Хабр: Машинное обучение; editado por Hamidun News
Dois chatbots locais rodando no mesmo computador compacto podem responder com diferença de até cinco vezes na velocidade, mesmo com arquivos de modelo de tamanho quase idêntico. O autor da análise no Habr passou uma semana, 86 horas, rodando 14 redes neurais locais no mini-PC GMKtec EVO-X2. Dentro dele há um processador Ryzen AI Max+ 395 com a GPU integrada Radeon 8060S e 96 GB de memória, compartilhada entre processador e placa de vídeo.
A velocidade foi medida em tokens por segundo: um token é um pedaço de palavra, e quanto mais deles por segundo, mais rápido o texto aparece na tela. O modelo denso Qwen3.8 27B gerou 12,8 tokens por segundo, e o Gemma 4 26B A4B, 63.
Se você pensa em transferir parte das tarefas da nuvem para a sua máquina, esses números ajudam a escolher tanto o modelo quanto o hardware.
O que foi o teste e por que ele foi feito
O software da máquina: Ubuntu 26.04, LM Studio 0.4.28 e o motor llama.cpp com Vulkan. Todas as camadas do modelo ficaram na GPU, o Flash Attention estava ativado e as requisições passaram uma a uma. Quase todos os modelos foram usados em versão comprimida Q4 (os pesos são armazenados em quatro bits para ocupar menos memória); a exceção foi o gpt-oss-20b, no formato MXFP4. O contexto, ou seja, a quantidade de texto que o modelo mantém à vista, foi testado com 64K, 128K e 256K tokens. Três modelos suportam apenas até 128K. O autor admite uma falha: não registrou o tipo de quantização do KV-cache, então não será possível reproduzir as condições em todos os detalhes.
A primeira lição prática diz respeito ao sistema operacional. Para LLMs locais, importa quanta memória é possível destinar à GPU. No Windows, na versão com 96 GB, não foi possível alocar mais de 48 GB; no Linux, conseguiu-se 80 GiB. Por isso o mini-PC roda Ubuntu. Se você considera uma plataforma parecida para modelos grandes, verifique esse limite antes de comprar.
A máquina surgiu por dois motivos: ela foi trazida da China, e então houve um ataque ao data center da Yandex. Os agentes do autor funcionavam na Yandex Cloud, e ele ficou sem as ferramentas habituais. Ele não calculou o retorno do investimento e vai continuar usando os modelos de nuvem de ponta enquanto puder. A questão era prática: o que do trabalho cotidiano pode ser totalmente entregue aos modelos locais.
Velocidade: o tamanho do arquivo não garante nada
Na fase eliminatória participaram 12 modelos. Na final chegaram quatro líderes e dois novos candidatos, incluídos depois da seleção, de modo que, no total, 14 passaram pelos testes. O resultado mais revelador diz respeito à arquitetura dos modelos. O modelo denso Qwen3.8 27B gera 12,8 tokens por segundo. O Gemma 4 26B A4B, no mesmo hardware, chega a 63, embora os arquivos tenham quase o mesmo tamanho.
A diferença se explica pela arquitetura. Em um modelo denso, todos os parâmetros trabalham a cada token. O Gemma 4 26B A4B é do tipo MoE ("mistura de especialistas"): para cada token entra apenas uma parte dos especialistas, pelo nome, cerca de 4 bilhões de parâmetros de um total de 26. A memória necessária é a mesma, mas o cálculo é bem menor, daí a diferença de cerca de cinco vezes. Em um chat, em que a pessoa espera a resposta, 12,8 tokens por segundo parecem digitação lenta, enquanto 63 já se aproximam de uma conversa normal.
Contexto longo: ler leva minutos
O tamanho da janela de contexto não afetou a velocidade nem a pontuação quando a requisição era a mesma. Ativar 256K "por precaução" não tem penalidade em si. Já a leitura de uma entrada longa custa caro: os modelos levam de 8 a 23 minutos para processar 200K tokens. Para um agente que relê regularmente um grande repositório ou um conjunto de documentos, isso é uma limitação direta do cenário.
No contexto longo, o Qwen3.8 teve o melhor desempenho. Esse é o principal motivo pelo qual o autor a manteve, apesar da geração mais lenta.
O que ficou carregado na memória
O autor mantém duas modelos carregadas ao mesmo tempo. O Gemma 4 26B Uncensored responde no bot conversacional, em que importam as réplicas rápidas. O Qwen3.8 27B com MTP assume tarefas mais complexas e o trabalho em segundo plano, em que dá para esperar, mas são necessárias qualidade e estabilidade com entradas grandes. MTP é o modo de previsão de múltiplos tokens, que ajuda a acelerar a geração.
O que tirar da análise. Primeiro, escolha o modelo de acordo com o tipo de tarefa: MoE rápido para diálogo, denso para processamento pesado em segundo plano. Segundo, reserve tempo para ler contexto longo, e não apenas para gerar a resposta. Terceiro, verifique quanta memória o seu sistema operacional entrega à GPU.
Também vale lembrar as limitações. Estes são resultados de uma pessoa, em uma única configuração. O autor refinou a metodologia no caminho, reiniciou parte das execuções, e a quantização do KV-cache não foi registrada. Como referência para um servidor doméstico ou de um pequeno escritório, os números servem; como benchmark rigoroso, não. O próprio autor diz que quer poupar alguns serões dos leitores, e não dar um veredito definitivo.
- 21 de nov. de 2026GigaChat — 7º no ranking cego em russo, mas 78 pontos Elo atrás do líder
- 21 de nov. de 2026O MiniMind, projeto aberto, permite treinar a sua própria LLM do zero por US$ 0,42 em uma RTX 3090
- 21 de nov. de 2026Agente Skein apaga etapas antigas do contexto: 97% de execuções bem-sucedidas, mas mais caro que o OpenCode
- 21 de nov. de 2026Inkling 2 Mini, aberta e com 16 GB de memória, alcança Qwen3.8-27B em ranking independente
Perguntas frequentes sobre a notícia
O que foi o teste e por que ele foi feito?
O software da máquina: Ubuntu 26.04, LM Studio 0.4.28 e o motor llama.cpp com Vulkan. Todas as camadas do modelo ficaram na GPU, o Flash Attention estava ativado e as requisições passaram uma a uma. Quase todos os modelos foram usados em versão comprimida Q4 (os pesos são armazenados em quatro bits para ocupar menos memória); a exceção foi o gpt-oss-20b, no formato MXFP4. O contexto, ou seja, a quantidade de texto que o modelo mantém à vista, foi testado com 64K, 128K e 256K tokens.
O que se sabe sobre Velocidade: o tamanho do arquivo não garante nada?
Na fase eliminatória participaram 12 modelos. Na final chegaram quatro líderes e dois novos candidatos, incluídos depois da seleção, de modo que, no total, 14 passaram pelos testes. O resultado mais revelador diz respeito à arquitetura dos modelos. O modelo denso Qwen3.8 27B gera 12,8 tokens por segundo. O Gemma 4 26B A4B, no mesmo hardware, chega a 63, embora os arquivos tenham quase o mesmo tamanho. A diferença se explica pela arquitetura. Em um modelo denso, todos os parâmetros trabalham a cada token.
O que se sabe sobre Contexto longo: ler leva minutos?
O tamanho da janela de contexto não afetou a velocidade nem a pontuação quando a requisição era a mesma. Ativar 256K "por precaução" não tem penalidade em si. Já a leitura de uma entrada longa custa caro: os modelos levam de 8 a 23 minutos para processar 200K tokens. Para um agente que relê regularmente um grande repositório ou um conjunto de documentos, isso é uma limitação direta do cenário. No contexto longo, o Qwen3.8 teve o melhor desempenho.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.