QVikhr-3-4B sur un VPS à 1,5 mille ₽ sans GPU : 20 demandes sur 20 correctement étiquetées

Beaucoup de tâches professionnelles sur du texte (trier une demande de support, extraire un numéro de téléphone et un budget d'un e-mail, déterminer si l'auteur d'un avis est satisfait) n'exigent pas un modèle de pointe coûteux : ce serait comme enfoncer des clous avec un microscope. Mais héberger soi-même un grand modèle ouvert reste compliqué : il faut des GPU, déjà difficiles à trouver, et tout le monde ne veut pas confier les données de ses clients à une API cloud. Les lois sur les données personnelles poussent d'ailleurs vers un déploiement local.

L'auteur de l'article sur Habr a testé l'option la plus économique : un VPS chez Justhost.ru avec le modèle Ollama, à 1,5 mille ₽ par mois (4 vCPU Intel Xeon Gold 6148, 4 Go de RAM, pas de carte graphique). Il y a exécuté neuf modèles légers sur sept tâches métier, ainsi qu'un test de charge.

Résultat : le meilleur d'entre eux, QVikhr-3-4B, a déterminé la bonne catégorie pour les 20 demandes sur 20 (100 %), en 3,5 s par demande. L'enseignement pratique : on peut confier la routine textuelle courte à un tel serveur, mais il faut vérifier les réponses du modèle par du code et réserver les textes longs au traitement en arrière-plan.

Quel serveur et quels modèles ont participé ?

Le test réunit llama3.2:1b (préinstallé dans le modèle de VPS), gemma3:1b et gemma3:4b de Google, qwen3.5:2b et qwen3.5:4b d'Alibaba, le modèle hybride granite4:micro-h d'IBM, deux modèles de Liquid AI (LFM2.5-1.2B-Instruct et LFM2.5-2.6B) et QVikhr-3-4B-Instruction, affiné sur du russe. Pour la recherche dans une base de connaissances (RAG), l'auteur a ajouté les embeddings bge-m3. Les modèles russes GigaChat 3.1 Lightning, T-lite et YandexGPT-5-Lite n'ont pas tenu dans 4 Go.

Le modèle de VPS est taillé pour un seul petit modèle et un chat. Open WebUI occupe environ un gigaoctet, soit un quart de la mémoire totale, et il a fallu l'arrêter pour faire tourner les modèles de 4B. Il a aussi fallu ajouter 4 Go de swap : sans lui, le noyau tuait les modèles sur les textes longs. Le llama3.2:1b préinstallé s'est révélé le pire des neuf : il s'est trompé sur 7 demandes sur 20 et, pour trois questions dont la réponse ne figure pas dans la base de connaissances, il a inventé la sienne.

Ce qui fonctionne

Classification des demandes : QVikhr-3-4B, les deux qwen3.5 et gemma3:4b n'ont commis aucune erreur. QVikhr est en outre trois fois plus rapide que qwen3.5:4b (environ 1000 demandes par heure contre 312) : il réutilise le prompt système déjà lu, alors que les hybrides qwen3.5, granite et gemma3 le relisent à chaque fois. Sur CPU, c'est le principal facteur de vitesse.

Tonalité des avis : QVikhr et qwen3.5:4b ont correctement évalué 22 avis sur 24, QVikhr étant deux fois plus rapide. Presque aucun modèle n'a repéré le sarcasme ; mieux vaut donc confier à un humain les avis au texte positif mais à la note basse en étoiles.

Extraction de données à partir des fiches de demande : qwen3.5:4b a fourni 59 champs sur 60 et n'a rien inventé. En revanche, aucun modèle n'a converti « до пятницы » (« d'ici vendredi ») en 23.10 dans un e-mail reçu le mardi 20.10 : les dates doivent donc être calculées par du code. Les ajustements de prompt ont aidé qwen, mais gemma3:4b a régressé (de 57 à 54 champs) ; les règles doivent donc être testées séparément sur chaque modèle.

RAG : QVikhr, les deux qwen3.5 et granite ont répondu correctement à 14 questions sur 15 et ont indiqué honnêtement « pas d'information dans la base ». Une réponse prend de 40 à 95 secondes : c'est acceptable pour un assistant interne, pas pour un chat client.

Annonces pour Yandex Direct : seule qwen3.5:4b a respecté les limites de longueur sur les 30 annonces, mais environ la moitié nécessitaient des corrections factuelles ; il s'agit donc d'un générateur de brouillons. Normalisation CRM : pour 4 modèles sur 9, les réponses se décalaient d'une ligne et les données revenaient à d'autres clients ; la réponse doit donc inclure l'id de la ligne, et le code doit le vérifier.

Seule qwen3.5:4b a produit des résumés de documents longs sans déformation, et ce avec le swap actif.

Charge et conclusions

Le serveur traite les requêtes en file. À 1, 2 et 4 threads, le débit est presque identique (qwen3.5:4b : 272, 279 et 274 requêtes par heure) ; seule l'attente augmente. Les slots parallèles d'Ollama n'ont pas aidé, et flash attention a ralenti la lecture du prompt sur ce processeur, de 27 à 12 tokens par seconde. Les réglages par défaut ont donné les meilleurs résultats.

En résumé : les modèles à partir de 2B conviennent à la routine, ceux de 1B non. On peut confier à un VPS à 1,5 mille ₽ les tâches courtes assorties d'une vérification par code, et réserver les tâches longues à l'arrière-plan. Le goulot d'étranglement est la mémoire ; l'auteur recommande donc au minimum 8 Go de RAM. Limites : les données sont synthétiques, les échantillons sont petits et les grands modèles russes n'ont pas été testés sur un tel serveur.