QVikhr-3-4B en un VPS de 1,5 mil ₽ sin GPU etiquetó correctamente 20 de 20 solicitudes

Muchas tareas de trabajo con texto no requieren un costoso modelo de frontera: clasificar una solicitud de soporte, sacar el teléfono y el presupuesto de un correo o saber si el autor de una reseña está satisfecho. Usarlo sería como clavar clavos con un microscopio. Pero ejecutar un modelo abierto grande en local es complicado: hacen falta GPU, que además hay que conseguir, y no todos quieren enviar datos de clientes a una API en la nube, mientras que las leyes de protección de datos personales empujan hacia el despliegue local.

El autor del artículo en Habr probó la opción más económica: un VPS de Justhost.ru con la plantilla de Ollama por 1,5 mil ₽ al mes (4 vCPU Intel Xeon Gold 6148, 4 GB de RAM, sin tarjeta gráfica). En él ejecutó nueve modelos ligeros en siete tareas de negocio y una prueba de carga.

Resultado: el mejor, QVikhr-3-4B, determinó correctamente la categoría de las 20 solicitudes (20 de 20, 100%), con 3,5 s por cada una. La conclusión práctica: la rutina de texto corto se puede delegar en un servidor así, pero conviene verificar las respuestas del modelo con código y dejar los textos largos para el procesamiento en segundo plano.

Qué servidor se usó y qué modelos participaron

Entraron en la prueba llama3.2:1b (preinstalado en la plantilla), gemma3:1b y gemma3:4b de Google, qwen3.5:2b y qwen3.5:4b de Alibaba, el híbrido granite4:micro-h de IBM, dos modelos de Liquid AI (LFM2.5-1.2B-Instruct y LFM2.5-2.6B) y QVikhr-3-4B-Instruction, ajustado para ruso. Para la búsqueda en la base de conocimiento (RAG) se añadieron los embeddings bge-m3. Los modelos rusos GigaChat 3.1 Lightning, T-lite y YandexGPT-5-Lite no cabían en 4 GB.

La plantilla resultó estar pensada para un único modelo pequeño y un chat. Open WebUI ocupa cerca de un gigabyte, una cuarta parte de toda la memoria, así que hubo que detenerlo para los modelos de 4B. Además, hizo falta un swap de 4 GB: sin él, el kernel mataba los modelos con textos largos. La llama3.2:1b preinstalada fue la peor de las nueve: falló en 7 de las 20 solicitudes y, ante tres preguntas cuya respuesta no figuraba en la base de conocimiento, se inventó las suyas.

Qué funciona

Clasificación de solicitudes: QVikhr-3-4B, las dos qwen3.5 y gemma3:4b no se equivocaron ni una vez. Además, QVikhr es tres veces más rápido que qwen3.5:4b (unas 1000 solicitudes por hora frente a 312): reutiliza el prompt de sistema ya leído, mientras que los híbridos qwen3.5, granite y gemma3 lo leen de nuevo cada vez. En CPU, este es el factor principal de velocidad.

Tonalidad de las reseñas: QVikhr y qwen3.5:4b acertaron 22 de 24, y QVikhr fue el doble de rápido. Casi ningún modelo reconoció el sarcasmo, así que las reseñas con texto positivo pero poca puntuación en estrellas conviene enviarlas a una persona.

Extracción de datos de las solicitudes: qwen3.5:4b devolvió 59 campos de 60 y no inventó nada. Pero ningún modelo convirtió la frase «hasta el viernes», en un correo del martes 20.10, en el 23.10, así que las fechas hay que calcularlas con código. Los ajustes del prompt ayudaron a qwen, pero gemma3:4b empeoró (de 57 a 54 campos), de modo que las reglas se comprueban en cada modelo por separado.

RAG: QVikhr, las dos qwen3.5 y granite respondieron bien 14 de 15 preguntas y escribieron con honestidad «en la base no hay información». Una respuesta tarda entre 40 y 95 segundos: sirve para un asistente interno, pero no para un chat de cara al cliente.

Anuncios para Yandex Direct: solo qwen3.5:4b respetó los límites de longitud en los 30 anuncios, pero cerca de la mitad requería correcciones de datos, así que es un generador de borradores. Normalización de CRM: en 4 de los 9 modelos las respuestas se desplazaban una fila y los datos acababan asignados a clientes ajenos, por lo que la respuesta debe incluir el id de la fila y el código debe comprobarlo.

Solo qwen3.5:4b resumió documentos largos sin distorsiones, y lo hizo con el swap activo.

Carga y conclusiones

El servidor procesa las solicitudes por turnos. Con 1, 2 y 4 hilos el rendimiento es casi idéntico (qwen3.5:4b: 272, 279 y 274 solicitudes por hora); solo crece la espera. Los slots paralelos de Ollama no ayudaron, y flash attention en este procesador ralentizó la lectura del prompt de 27 a 12 tokens por segundo. Lo que mejor funcionó fue la configuración estándar.

En resumen: los modelos de 2B en adelante sirven para la rutina; los de 1B, no. Las tareas cortas con verificación por código se pueden delegar en un VPS de 1,5 mil ₽, y las largas conviene dejarlas para segundo plano. El cuello de botella es la memoria, por lo que el autor aconseja contratar al menos 8 GB de RAM. Limitaciones: los datos son sintéticos, las muestras son pequeñas y los modelos rusos grandes no se probaron en un servidor así.