LLM em VPS sem GPU: modelos de 4B classificam chamados com 90% de acerto em 3–5 s
Um autor do Habr verificou se um VPS com 8 GB de memória e sem GPU dá conta de tarefas de rotina, como a triagem de chamados de suporte. Os melhores modelos, de 2 a 4 bilhões de parâmetros, identificaram o assunto do chamado em 3–5 segundos, com cerca de 90% de acerto. Já a resposta com base na base de conhecimento levou de 0,5 a 2,5 minutos. Isso basta para tarefas em segundo plano, mas não para um chat ao vivo. A recomendação é usar um modelo de 2–4B e colocar a instrução comum no início do prompt.
Processado por IA de Habr AI; editado por Hamidun News
Imagine uma loja online cujo suporte recebe centenas de e-mails por dia: “cadê meu pedido”, “quero devolver o produto”, “o código promocional não funciona”. Esses chamados precisam ser separados por categoria, e a ideia é fazer isso em um servidor próprio e barato, não em uma API na nuvem: os dados dos clientes ficam com a empresa, e a conta não cresce junto com o número de requisições. Alugar uma GPU, por sua vez, sai caro.
O autor do Habr publicou a segunda parte de um teste de modelos de linguagem leves em um VPS comum, sem GPU, e levou em conta as críticas feitas nos comentários da primeira. O principal resultado: em um servidor com 8 GB de RAM, os melhores modelos de 2–4 bilhões de parâmetros (2–4B) atribuíram o chamado à categoria correta em 3–5 segundos, e acertaram cerca de 9 vezes em 10 (precisão de aproximadamente 90%). Respostas com base na base de conhecimento e resumos curtos de documentos levaram de 0,5 a 2,5 minutos.
Para processamento em segundo plano, é aceitável; para um chat com o cliente, demora demais.
Ambiente de teste e o que mudou após as críticas
Os testes rodaram em um VPS da JustHost: 5 vCPU Intel Xeon Gold 6148, 8 GB de RAM, swap de 4 GB, Ubuntu 24.04 e Ollama 0.35.0 em Docker. Os modelos usaram quantização Q4_K_M. Aos líderes da primeira parte (QVikhr-3-4B, qwen3.5:2b e 4b, gemma3:4b, granite4:micro-h), foram adicionados cinco modelos maiores: GigaChat 3.1 Lightning, T-lite-it-2.1, YandexGPT-5-Lite-8B, Qwen3-8B e GLM-4-9B. Para a classificação, entrou também o d1-2B, da Liquid AI.
Os leitores criticaram a primeira parte pela falta de repetições, de medições sem cache e pelas amostras minúsculas. Agora todos os modelos usam o mesmo prompt, temperatura 0 e seed 42, e a classificação dos 326 chamados rodou duas vezes: os 10 modelos deram as mesmas respostas em todos os casos. O steal (quanto os vizinhos do host tiram de processador) ficou em média em 0,2% ao longo de 41 horas de carga, então o ruído da virtualização foi mínimo.
Memória pesa mais que processador, e cache pesa mais que modelo
Passar de 4 para 8 GB eliminou as quedas por falta de memória em textos longos e quase todo o uso de swap. O QVikhr-3-4B, por exemplo, respondeu com base na base de conhecimento em 73 segundos em vez de 94, e o uso de swap caiu de 9,1 GB para 43 MB. O gemma3:4b falhava nesse cenário com 4 GB, e com 8 GB respondeu corretamente a 14 de 15 perguntas. O quinto vCPU acrescentou apenas 20–25% à velocidade de leitura do prompt e cerca de 10% à geração: memória extra rende mais do que um núcleo extra.
O que mais afeta a velocidade é a estrutura do prompt. Se todas as requisições começam com a mesma instrução, o modelo a guarda em cache e lê apenas a parte variável, o texto do chamado. Se precisa reler a instrução a cada vez, o tempo aumenta de 2 a 3 vezes: o QVikhr-3-4B com cache classificou o chamado em 3,8 segundos; sem cache, em 12,4. A regra prática é: instrução comum no início, texto do cliente no fim. Nos qwen3.5 híbridos, o cache se comportou de forma imprevisível: o qwen3.5:2b só passou a pegar o prompt do cache depois de 116 requisições, e o qwen3.5:4b não chegou a fazer isso no teste de carga.
Precisão, tamanho do modelo e carga
No primeiro teste, com 20 chamados, sete modelos tiveram 100%, mas com 326 chamados 9 dos 10 modelos ficaram entre 87% e 92%. A diferença de 2–3 pontos entre os líderes está dentro da margem de erro estatística, então vale escolher por velocidade e uso de memória, e validar o modelo com centenas de exemplos próprios. O gabarito dos 326 chamados foi produzido por modelos; o autor classificou às cegas 50 chamados aleatórios, e 45 coincidiram com o gabarito.
Os modelos de 8–10B não superaram os melhores de 4B e foram mais lentos. A exceção em velocidade é o GigaChat 3.1 Lightning: ele tem 10B de parâmetros, mas, graças à arquitetura MoE, apenas 1,8B ficam ativos por token. Se você precisa de um modelo russo, é o indicado.
O Ollama processa as requisições em fila, então, com quatro clientes, cada um espera cerca de quatro vezes mais, e o número de requisições por hora não aumenta. Com prompt comum, QVikhr e GigaChat processaram de 750 a 1000 requisições curtas por hora; sem cache, cerca de 300. Em requisições longas (cerca de 2500 tokens de entrada), o melhor foi o qwen3.5:2b, com 104 requisições por hora contra 48 do QVikhr-3-4B.
O d1-2B merece menção à parte: ele não gera texto, e sim retorna, em uma única passada, a probabilidade de cada categoria. Em acerto, fica no nível dos modelos generativos e, com limiar de 0,9, assumiria sozinho 69% dos chamados com 97% de acerto, repassando o restante a uma pessoa. Para um suporte em que errar custa mais do que uma revisão manual extra, é uma boa opção. Ele exigiu um Ollama 0.40.15 separado e o parâmetro num_batch 2048; sem isso, um chamado de 946 tokens retornava erro.
Outro detalhe prático: em um servidor com 8 GB, o cache de prompts do Ollama pode, por padrão, ocupar toda a memória, e com o qwen3.5:4b isso causava falhas. Adicionar LLAMA_ARG_CACHE_RAM=1024 às configurações resolveu. Os datasets, scripts e respostas brutas estão no repositório github.com/alvec7/llm-cpu-bench.
- 18 de nov. de 2026Qwen em dois DGX Spark fica 34–59% mais rápido em tokens por segundo e supera o GLM
- 18 de nov. de 2026Bonsai 2 27B compactado rodou a 17 tokens/s em placa de 2017, e o Qwen3 8B, a 32
- 18 de nov. de 2026Placa de mineração de $3000 vira equivalente da A100: de 8 para 80 GB de memória
- 12 de nov. de 2026n8n lança o Nod, um agente open source que roda no seu computador
Perguntas frequentes sobre a notícia
O que se sabe sobre Ambiente de teste e o que mudou após as críticas?
Os testes rodaram em um VPS da JustHost: 5 vCPU Intel Xeon Gold 6148, 8 GB de RAM, swap de 4 GB, Ubuntu 24.04 e Ollama 0.35.0 em Docker. Os modelos usaram quantização Q4_K_M. Aos líderes da primeira parte (QVikhr-3-4B, qwen3.5:2b e 4b, gemma3:4b, granite4:micro-h), foram adicionados cinco modelos maiores: GigaChat 3.1 Lightning, T-lite-it-2.1, YandexGPT-5-Lite-8B, Qwen3-8B e GLM-4-9B. Para a classificação, entrou também o d1-2B, da Liquid AI.
O que se sabe sobre Memória pesa mais que processador, e cache pesa mais que modelo?
Passar de 4 para 8 GB eliminou as quedas por falta de memória em textos longos e quase todo o uso de swap. O QVikhr-3-4B, por exemplo, respondeu com base na base de conhecimento em 73 segundos em vez de 94, e o uso de swap caiu de 9,1 GB para 43 MB. O gemma3:4b falhava nesse cenário com 4 GB, e com 8 GB respondeu corretamente a 14 de 15 perguntas. O quinto vCPU acrescentou apenas 20–25% à velocidade de leitura do prompt e cerca de 10% à geração: memória extra rende mais do que um núcleo extra.
O que se sabe sobre Precisão, tamanho do modelo e carga?
No primeiro teste, com 20 chamados, sete modelos tiveram 100%, mas com 326 chamados 9 dos 10 modelos ficaram entre 87% e 92%. A diferença de 2–3 pontos entre os líderes está dentro da margem de erro estatística, então vale escolher por velocidade e uso de memória, e validar o modelo com centenas de exemplos próprios. O gabarito dos 326 chamados foi produzido por modelos; o autor classificou às cegas 50 chamados aleatórios, e 45 coincidiram com o gabarito.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.