LLM en un VPS sin GPU: modelos de 4B clasifican solicitudes con un 90% de precisión en 3–5 s
Un autor de Habr comprobó si un VPS con 8 GB de memoria y sin GPU basta para tareas rutinarias como clasificar solicitudes de soporte. Los mejores modelos, de 2 a 4 mil millones de parámetros, identificaban el tema de la solicitud en 3–5 segundos con una precisión cercana al 90%. Responder a partir de una base de conocimiento llevaba entre 0,5 y 2,5 minutos. Para tareas en segundo plano es suficiente; para un chat en vivo, no. La recomendación: elegir un modelo de 2–4B y colocar la instrucción común al principio del prompt.
Procesado por IA desde Habr AI; editado por Hamidun News
Imagine una tienda online cuyo equipo de soporte recibe cada día cientos de correos: «dónde está mi pedido», «quiero devolver un producto», «el código promocional no funciona». Hay que clasificarlos por categorías, y lo ideal es hacerlo en un servidor propio y barato, no en una API en la nube: los datos de los clientes se quedan en casa y la factura no crece con el número de solicitudes. Alquilar una GPU, además, sale caro.
Un autor de Habr ha publicado la segunda parte de su prueba de modelos de lenguaje ligeros en un VPS corriente sin GPU, en la que tiene en cuenta las críticas recibidas en los comentarios de la primera. La conclusión principal: en un servidor con 8 GB de RAM, los mejores modelos de 2–4 mil millones de parámetros (2–4B) asignaban cada solicitud a su categoría en 3–5 segundos y acertaban en torno a 9 de cada 10 veces (precisión cercana al 90%). Las respuestas a partir de la base de conocimiento y los resúmenes breves de documentos tardaban entre 0,5 y 2,5 minutos: es aceptable para el procesamiento en segundo plano, pero demasiado lento para un chat con el cliente.
El banco de pruebas y lo que se corrigió tras las críticas
Las pruebas se hicieron en un VPS de JustHost: 5 vCPU Intel Xeon Gold 6148, 8 GB de RAM, 4 GB de swap, Ubuntu 24.04 y Ollama 0.35.0 en Docker. Los modelos se usaron con cuantización Q4_K_M. A los líderes de la primera parte (QVikhr-3-4B, qwen3.5:2b y 4b, gemma3:4b, granite4:micro-h) se sumaron cinco modelos más grandes: GigaChat 3.1 Lightning, T-lite-it-2.1, YandexGPT-5-Lite-8B, Qwen3-8B y GLM-4-9B. Para la clasificación se incorporó además d1-2B de Liquid AI.
Los lectores criticaron la primera parte por la falta de repeticiones, de mediciones sin caché y por el tamaño ínfimo de las muestras. Ahora todos los modelos usan el mismo prompt, temperatura 0 y seed 42, y la clasificación de 326 solicitudes se ejecutó dos veces: los 10 modelos dieron las mismas respuestas en todos los casos. El indicador steal (cuánto CPU les quitan al servidor los vecinos del mismo host) fue en promedio del 0,2% durante 41 horas de carga, así que el ruido de la virtualización fue mínimo.
La memoria importa más que el procesador, y la caché más que el modelo
Pasar de 4 a 8 GB eliminó los fallos por falta de memoria con textos largos y casi todo el intercambio con swap. Por ejemplo, QVikhr-3-4B respondió a partir de la base de conocimiento en 73 segundos en lugar de 94, y el intercambio con swap bajó de 9,1 GB a 43 MB. gemma3:4b fallaba en ese escenario con 4 GB, mientras que con 8 GB respondió correctamente a 14 de 15 preguntas. El quinto vCPU aportó solo un 20–25% más de velocidad en la lectura del prompt y alrededor de un 10% en la generación: más memoria resulta más útil que un núcleo extra.
Lo que más influye en la velocidad es la estructura del prompt. Si todas las solicitudes empiezan con la misma instrucción, el modelo la memoriza y solo lee la parte variable: el texto de la solicitud. Si tiene que leer la instrucción de nuevo cada vez, el tiempo se multiplica por 2–3: QVikhr-3-4B con caché clasificaba una solicitud en 3,8 segundos; sin ella, en 12,4. La regla práctica: la instrucción común al principio y el texto del cliente al final. En los qwen3.5 híbridos la caché se comportó de forma impredecible: qwen3.5:2b empezó a tomar el prompt de la caché solo tras 116 solicitudes, y qwen3.5:4b no llegó a hacerlo en la prueba de carga.
Precisión, tamaño del modelo y carga
En la primera prueba, con 20 solicitudes, siete modelos lograron un 100%, pero con 326 solicitudes 9 de los 10 modelos obtuvieron entre 87% y 92%. La diferencia de 2–3 puntos entre los líderes está dentro del margen de error estadístico, por lo que conviene elegir según velocidad y memoria, y validar el modelo con cientos de ejemplos propios. El etiquetado de referencia de las 326 solicitudes lo hicieron modelos; el autor etiquetó a ciegas 50 solicitudes aleatorias y 45 coincidieron con la referencia.
Los modelos de 8–10B no superaron a los mejores de 4B y fueron más lentos. La excepción en velocidad es GigaChat 3.1 Lightning: tiene 10B de parámetros, pero gracias a su arquitectura MoE solo 1,8B trabajan por cada token. Si necesita un modelo ruso, elija este.
Ollama procesa las solicitudes en cola, por lo que con cuatro clientes cada uno espera aproximadamente cuatro veces más y el número de solicitudes por hora no aumenta. Con un prompt común, QVikhr y GigaChat procesaban entre 750 y 1000 solicitudes cortas por hora; sin caché, unas 300. Con solicitudes largas (unos 2500 tokens de entrada), la mejor fue qwen3.5:2b, con 104 solicitudes por hora frente a 48 de QVikhr-3-4B.
Merece mención aparte d1-2B: no genera texto, sino que en una sola pasada devuelve la probabilidad de cada categoría. En precisión está al nivel de los modelos generativos, pero con un umbral de 0,9 se encargaría por sí sola del 69% de las solicitudes con una precisión del 97% y pasaría el resto a una persona. Para un soporte en el que un error cuesta más que una revisión manual adicional, es una opción cómoda. Requirió una instancia aparte de Ollama 0.40.15 y el parámetro num_batch 2048; de lo contrario, una solicitud de 946 tokens devolvía un error.
Otro detalle práctico: en un servidor con 8 GB, la caché de prompts de Ollama puede ocupar por defecto toda la memoria, y con qwen3.5:4b eso provocaba fallos. Lo solucionó añadir LLAMA_ARG_CACHE_RAM=1024 a la configuración. Los datasets, los scripts y las respuestas en bruto están en el repositorio github.com/alvec7/llm-cpu-bench.
- 18 nov 2026Qwen en dos DGX Spark gana un 34–59% en tokens por segundo y supera a GLM
- 18 nov 2026Bonsai 2 27B comprimida logró 17 tokens/s en una tarjeta de 2017, y Qwen3 8B, 32
- 18 nov 2026Convierten una tarjeta de minería de $3000 en un equivalente de la A100: de 8 a 80 GB de memoria
- 12 nov 2026n8n lanza Nod, un agente de código abierto que funciona en tu ordenador
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre El banco de pruebas y lo que se corrigió tras las críticas?
Las pruebas se hicieron en un VPS de JustHost: 5 vCPU Intel Xeon Gold 6148, 8 GB de RAM, 4 GB de swap, Ubuntu 24.04 y Ollama 0.35.0 en Docker. Los modelos se usaron con cuantización Q4_K_M. A los líderes de la primera parte (QVikhr-3-4B, qwen3.5:2b y 4b, gemma3:4b, granite4:micro-h) se sumaron cinco modelos más grandes: GigaChat 3.1 Lightning, T-lite-it-2.1, YandexGPT-5-Lite-8B, Qwen3-8B y GLM-4-9B. Para la clasificación se incorporó además d1-2B de Liquid AI.
¿Qué se sabe sobre La memoria importa más que el procesador, y la caché más que el modelo?
Pasar de 4 a 8 GB eliminó los fallos por falta de memoria con textos largos y casi todo el intercambio con swap. Por ejemplo, QVikhr-3-4B respondió a partir de la base de conocimiento en 73 segundos en lugar de 94, y el intercambio con swap bajó de 9,1 GB a 43 MB. gemma3:4b fallaba en ese escenario con 4 GB, mientras que con 8 GB respondió correctamente a 14 de 15 preguntas.
¿Qué se sabe sobre Precisión, tamaño del modelo y carga?
En la primera prueba, con 20 solicitudes, siete modelos lograron un 100%, pero con 326 solicitudes 9 de los 10 modelos obtuvieron entre 87% y 92%. La diferencia de 2–3 puntos entre los líderes está dentro del margen de error estadístico, por lo que conviene elegir según velocidad y memoria, y validar el modelo con cientos de ejemplos propios. El etiquetado de referencia de las 326 solicitudes lo hicieron modelos; el autor etiquetó a ciegas 50 solicitudes aleatorias y 45 coincidieron con la referencia.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.