Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
InfraestruturaAnálise · No radarHabr AI→ original

LLM em VPS sem GPU: modelos de 4B classificam chamados com 90% de acerto em 3–5 s

Um autor do Habr verificou se um VPS com 8 GB de memória e sem GPU dá conta de tarefas de rotina, como a triagem de chamados de suporte. Os melhores modelos, de 2 a 4 bilhões de parâmetros, identificaram o assunto do chamado em 3–5 segundos, com cerca de 90% de acerto. Já a resposta com base na base de conhecimento levou de 0,5 a 2,5 minutos. Isso basta para tarefas em segundo plano, mas não para um chat ao vivo. A recomendação é usar um modelo de 2–4B e colocar a instrução comum no início do prompt.

Processado por IA de Habr AI; editado por Hamidun News
LLM em VPS sem GPU: modelos de 4B classificam chamados com 90% de acerto em 3–5 s
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Cache da instruçãoo QVikhr-3-4B respondeu em 3,8 s, contra 12,4 s sem ele
Dado-chave #2Em 326 chamados, 9 dos 10 modelos tiveram acerto de 87–92%
Dado-chave #3Com limiar de 0,9, o d1-2B resolveu sozinho 69% dos chamados, com 97% de acerto

Imagine uma loja online cujo suporte recebe centenas de e-mails por dia: “cadê meu pedido”, “quero devolver o produto”, “o código promocional não funciona”. Esses chamados precisam ser separados por categoria, e a ideia é fazer isso em um servidor próprio e barato, não em uma API na nuvem: os dados dos clientes ficam com a empresa, e a conta não cresce junto com o número de requisições. Alugar uma GPU, por sua vez, sai caro.

O autor do Habr publicou a segunda parte de um teste de modelos de linguagem leves em um VPS comum, sem GPU, e levou em conta as críticas feitas nos comentários da primeira. O principal resultado: em um servidor com 8 GB de RAM, os melhores modelos de 2–4 bilhões de parâmetros (2–4B) atribuíram o chamado à categoria correta em 3–5 segundos, e acertaram cerca de 9 vezes em 10 (precisão de aproximadamente 90%). Respostas com base na base de conhecimento e resumos curtos de documentos levaram de 0,5 a 2,5 minutos.

Para processamento em segundo plano, é aceitável; para um chat com o cliente, demora demais.

Ambiente de teste e o que mudou após as críticas

Os testes rodaram em um VPS da JustHost: 5 vCPU Intel Xeon Gold 6148, 8 GB de RAM, swap de 4 GB, Ubuntu 24.04 e Ollama 0.35.0 em Docker. Os modelos usaram quantização Q4_K_M. Aos líderes da primeira parte (QVikhr-3-4B, qwen3.5:2b e 4b, gemma3:4b, granite4:micro-h), foram adicionados cinco modelos maiores: GigaChat 3.1 Lightning, T-lite-it-2.1, YandexGPT-5-Lite-8B, Qwen3-8B e GLM-4-9B. Para a classificação, entrou também o d1-2B, da Liquid AI.

Os leitores criticaram a primeira parte pela falta de repetições, de medições sem cache e pelas amostras minúsculas. Agora todos os modelos usam o mesmo prompt, temperatura 0 e seed 42, e a classificação dos 326 chamados rodou duas vezes: os 10 modelos deram as mesmas respostas em todos os casos. O steal (quanto os vizinhos do host tiram de processador) ficou em média em 0,2% ao longo de 41 horas de carga, então o ruído da virtualização foi mínimo.

Memória pesa mais que processador, e cache pesa mais que modelo

Passar de 4 para 8 GB eliminou as quedas por falta de memória em textos longos e quase todo o uso de swap. O QVikhr-3-4B, por exemplo, respondeu com base na base de conhecimento em 73 segundos em vez de 94, e o uso de swap caiu de 9,1 GB para 43 MB. O gemma3:4b falhava nesse cenário com 4 GB, e com 8 GB respondeu corretamente a 14 de 15 perguntas. O quinto vCPU acrescentou apenas 20–25% à velocidade de leitura do prompt e cerca de 10% à geração: memória extra rende mais do que um núcleo extra.

O que mais afeta a velocidade é a estrutura do prompt. Se todas as requisições começam com a mesma instrução, o modelo a guarda em cache e lê apenas a parte variável, o texto do chamado. Se precisa reler a instrução a cada vez, o tempo aumenta de 2 a 3 vezes: o QVikhr-3-4B com cache classificou o chamado em 3,8 segundos; sem cache, em 12,4. A regra prática é: instrução comum no início, texto do cliente no fim. Nos qwen3.5 híbridos, o cache se comportou de forma imprevisível: o qwen3.5:2b só passou a pegar o prompt do cache depois de 116 requisições, e o qwen3.5:4b não chegou a fazer isso no teste de carga.

Precisão, tamanho do modelo e carga

No primeiro teste, com 20 chamados, sete modelos tiveram 100%, mas com 326 chamados 9 dos 10 modelos ficaram entre 87% e 92%. A diferença de 2–3 pontos entre os líderes está dentro da margem de erro estatística, então vale escolher por velocidade e uso de memória, e validar o modelo com centenas de exemplos próprios. O gabarito dos 326 chamados foi produzido por modelos; o autor classificou às cegas 50 chamados aleatórios, e 45 coincidiram com o gabarito.

Os modelos de 8–10B não superaram os melhores de 4B e foram mais lentos. A exceção em velocidade é o GigaChat 3.1 Lightning: ele tem 10B de parâmetros, mas, graças à arquitetura MoE, apenas 1,8B ficam ativos por token. Se você precisa de um modelo russo, é o indicado.

O Ollama processa as requisições em fila, então, com quatro clientes, cada um espera cerca de quatro vezes mais, e o número de requisições por hora não aumenta. Com prompt comum, QVikhr e GigaChat processaram de 750 a 1000 requisições curtas por hora; sem cache, cerca de 300. Em requisições longas (cerca de 2500 tokens de entrada), o melhor foi o qwen3.5:2b, com 104 requisições por hora contra 48 do QVikhr-3-4B.

O d1-2B merece menção à parte: ele não gera texto, e sim retorna, em uma única passada, a probabilidade de cada categoria. Em acerto, fica no nível dos modelos generativos e, com limiar de 0,9, assumiria sozinho 69% dos chamados com 97% de acerto, repassando o restante a uma pessoa. Para um suporte em que errar custa mais do que uma revisão manual extra, é uma boa opção. Ele exigiu um Ollama 0.40.15 separado e o parâmetro num_batch 2048; sem isso, um chamado de 946 tokens retornava erro.

Outro detalhe prático: em um servidor com 8 GB, o cache de prompts do Ollama pode, por padrão, ocupar toda a memória, e com o qwen3.5:4b isso causava falhas. Adicionar LLAMA_ARG_CACHE_RAM=1024 às configurações resolveu. Os datasets, scripts e respostas brutas estão no repositório github.com/alvec7/llm-cpu-bench.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Ambiente de teste e o que mudou após as críticas?

Os testes rodaram em um VPS da JustHost: 5 vCPU Intel Xeon Gold 6148, 8 GB de RAM, swap de 4 GB, Ubuntu 24.04 e Ollama 0.35.0 em Docker. Os modelos usaram quantização Q4_K_M. Aos líderes da primeira parte (QVikhr-3-4B, qwen3.5:2b e 4b, gemma3:4b, granite4:micro-h), foram adicionados cinco modelos maiores: GigaChat 3.1 Lightning, T-lite-it-2.1, YandexGPT-5-Lite-8B, Qwen3-8B e GLM-4-9B. Para a classificação, entrou também o d1-2B, da Liquid AI.

O que se sabe sobre Memória pesa mais que processador, e cache pesa mais que modelo?

Passar de 4 para 8 GB eliminou as quedas por falta de memória em textos longos e quase todo o uso de swap. O QVikhr-3-4B, por exemplo, respondeu com base na base de conhecimento em 73 segundos em vez de 94, e o uso de swap caiu de 9,1 GB para 43 MB. O gemma3:4b falhava nesse cenário com 4 GB, e com 8 GB respondeu corretamente a 14 de 15 perguntas. O quinto vCPU acrescentou apenas 20–25% à velocidade de leitura do prompt e cerca de 10% à geração: memória extra rende mais do que um núcleo extra.

O que se sabe sobre Precisão, tamanho do modelo e carga?

No primeiro teste, com 20 chamados, sete modelos tiveram 100%, mas com 326 chamados 9 dos 10 modelos ficaram entre 87% e 92%. A diferença de 2–3 pontos entre os líderes está dentro da margem de erro estatística, então vale escolher por velocidade e uso de memória, e validar o modelo com centenas de exemplos próprios. O gabarito dos 326 chamados foi produzido por modelos; o autor classificou às cegas 50 chamados aleatórios, e 45 coincidiram com o gabarito.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…