Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarHabr AI→ original

LLM sur un VPS sans GPU : des modèles de 4B trient les demandes avec 90 % de précision en 3 à 5 s

Un auteur de Habr a cherché à savoir si un VPS de 8 Go de mémoire, sans GPU, suffit pour des tâches de routine comme le tri des demandes adressées au support. Les meilleurs modèles de 2 à 4 milliards de paramètres identifient le sujet d'une demande en 3 à 5 secondes, avec une précision d'environ 90 %. Une réponse fondée sur une base de connaissances prend en revanche de 0,5 à 2,5 minutes. C'est suffisant pour du traitement en arrière-plan, pas pour un chat en direct. Le conseil : choisir un modèle de 2–4B et placer l'instruction commune au début du prompt.

Traité par IA depuis Habr AI ; édité par Hamidun News
LLM sur un VPS sans GPU : des modèles de 4B trient les demandes avec 90 % de précision en 3 à 5 s
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Cache d'instructionQVikhr-3-4B répond en 3,8 s contre 12,4 s sans cache
Chiffre clé #2Sur 326 demandes, 9 modèles sur 10 atteignent une précision de 87 à 92 %
Chiffre clé #3d1-2B, avec un seuil de 0,9, a traité seule 69 % des demandes avec 97 % de précision

Prenons une boutique en ligne dont le support reçoit chaque jour des centaines de messages : « où est ma commande », « je veux retourner un article », « le code promo ne fonctionne pas ». Il faut les ranger par catégorie, et on préfère le faire sur un serveur maison bon marché plutôt que via une API cloud : les données des clients restent chez vous, et la facture ne grimpe pas avec le nombre de requêtes. Louer un GPU, en revanche, coûte cher.

L'auteur de Habr publie la deuxième partie de son test de modèles de langage légers sur un VPS ordinaire sans GPU, en tenant compte des critiques formulées en commentaire de la première. Principal enseignement : sur un serveur de 8 Go de RAM, les meilleurs modèles de 2 à 4 milliards de paramètres (2–4B) rangent une demande dans la bonne catégorie en 3 à 5 secondes, et le choix est correct environ 9 fois sur 10 (précision d'environ 90 %). Les réponses à partir d'une base de connaissances et les résumés succincts de documents prennent de 0,5 à 2,5 minutes : acceptable pour du traitement en arrière-plan, trop long pour un chat avec un client.

Banc d'essai et corrections après les critiques

Les tests ont été menés sur un VPS JustHost : 5 vCPU Intel Xeon Gold 6148, 8 Go de RAM, 4 Go de swap, Ubuntu 24.04, Ollama 0.35.0 dans Docker. Les modèles sont en quantification Q4_K_M. Aux leaders de la première partie (QVikhr-3-4B, qwen3.5:2b et 4b, gemma3:4b, granite4:micro-h), l'auteur a ajouté cinq modèles plus gros : GigaChat 3.1 Lightning, T-lite-it-2.1, YandexGPT-5-Lite-8B, Qwen3-8B et GLM-4-9B. Pour la classification, il a aussi intégré d1-2B de Liquid AI.

Les lecteurs reprochaient à la première partie l'absence de répétitions, de mesures sans cache et la taille minuscule des échantillons. Tous les modèles reçoivent désormais le même prompt, avec une température de 0 et un seed de 42. La classification de 326 demandes a été exécutée deux fois : les 10 modèles ont donné exactement les mêmes réponses dans tous les cas. L'indicateur steal (la part de CPU que les voisins de l'hôte accaparent) s'est établi en moyenne à 0,2 % sur 41 heures de charge : le bruit lié à la virtualisation était donc minimal.

La mémoire compte plus que le processeur, le cache plus que le modèle

Passer de 4 à 8 Go a supprimé les plantages par manque de mémoire sur les textes longs et presque tous les échanges avec le swap. Ainsi, QVikhr-3-4B répond sur la base de connaissances en 73 secondes au lieu de 94, et les échanges avec le swap tombent de 9,1 Go à 43 Mo. Dans ce scénario, gemma3:4b plantait avec 4 Go ; avec 8 Go, elle a répondu correctement à 14 questions sur 15. Le cinquième vCPU n'ajoute que 20 à 25 % à la vitesse de lecture du prompt et environ 10 % à la génération : mieux vaut un peu de mémoire en plus qu'un cœur en plus.

C'est la structure du prompt qui pèse le plus sur la vitesse. Si toutes les requêtes commencent par la même instruction, le modèle la mémorise et ne lit que la partie variable, le texte de la demande. S'il doit relire l'instruction à chaque fois, le temps est multiplié par 2 à 3 : avec le cache, QVikhr-3-4B classe une demande en 3,8 secondes, contre 12,4 sans. La règle pratique : l'instruction commune au début, le texte du client à la fin. Sur les qwen3.5 hybrides, le cache s'est comporté de façon imprévisible : qwen3.5:2b n'a commencé à reprendre le prompt depuis le cache qu'après 116 requêtes, et qwen3.5:4b n'y est jamais parvenue durant le test de charge.

Précision, taille du modèle et charge

Dans le premier test sur 20 demandes, sept modèles affichaient 100 %. Sur 326 demandes, 9 modèles sur 10 obtiennent 87 à 92 %. L'écart de 2 à 3 points entre les leaders reste dans la marge d'erreur statistique : il vaut donc mieux choisir selon la vitesse et la mémoire, et valider le modèle sur plusieurs centaines de ses propres exemples. L'annotation de référence des 326 demandes a été produite par des modèles ; l'auteur a annoté à l'aveugle 50 demandes tirées au hasard, dont 45 coïncident avec la référence.

Les modèles de 8 à 10B n'ont pas dépassé les meilleurs 4B et se sont montrés plus lents. L'exception côté vitesse est GigaChat 3.1 Lightning : elle compte 10B de paramètres, mais grâce à son architecture MoE, seuls 1,8B sont actifs pour chaque token. Si vous cherchez un modèle russe, c'est le choix à faire.

Ollama traite les requêtes à la file : avec quatre clients, chacun attend environ quatre fois plus longtemps, et le nombre de requêtes par heure n'augmente pas. Avec un prompt commun, QVikhr et GigaChat traitent 750 à 1000 requêtes courtes par heure, contre environ 300 sans cache. Sur les requêtes longues (environ 2500 tokens en entrée), qwen3.5:2b arrive en tête avec 104 requêtes par heure contre 48 pour QVikhr-3-4B.

d1-2B mérite un paragraphe à part : elle ne génère pas de texte, mais renvoie en une seule passe la probabilité de chaque catégorie. Sa précision est comparable à celle des modèles génératifs, mais avec un seuil de 0,9, elle prendrait seule en charge 69 % des demandes avec 97 % de précision, et transmettrait les autres à un humain. Pour un support où une erreur coûte plus cher qu'une vérification manuelle supplémentaire, c'est une option pratique. Elle a nécessité une instance Ollama 0.40.15 distincte et le paramètre num_batch 2048 ; sans lui, une demande de 946 tokens renvoyait une erreur.

Autre détail pratique : sur un serveur de 8 Go, le cache de prompts d'Ollama peut, par défaut, occuper toute la mémoire, ce qui provoquait des plantages avec qwen3.5:4b. L'ajout de LLAMA_ARG_CACHE_RAM=1024 dans la configuration a réglé le problème. Les jeux de données, les scripts et les réponses brutes sont disponibles dans le dépôt github.com/alvec7/llm-cpu-bench.

Dossier

Questions clés sur cet article

Que sait-on sur Banc d'essai et corrections après les critiques ?

Les tests ont été menés sur un VPS JustHost : 5 vCPU Intel Xeon Gold 6148, 8 Go de RAM, 4 Go de swap, Ubuntu 24.04, Ollama 0.35.0 dans Docker. Les modèles sont en quantification Q4_K_M. Aux leaders de la première partie (QVikhr-3-4B, qwen3.5:2b et 4b, gemma3:4b, granite4:micro-h), l'auteur a ajouté cinq modèles plus gros : GigaChat 3.1 Lightning, T-lite-it-2.1, YandexGPT-5-Lite-8B, Qwen3-8B et GLM-4-9B. Pour la classification, il a aussi intégré d1-2B de Liquid AI.

Que sait-on sur La mémoire compte plus que le processeur, le cache plus que le modèle ?

Passer de 4 à 8 Go a supprimé les plantages par manque de mémoire sur les textes longs et presque tous les échanges avec le swap. Ainsi, QVikhr-3-4B répond sur la base de connaissances en 73 secondes au lieu de 94, et les échanges avec le swap tombent de 9,1 Go à 43 Mo. Dans ce scénario, gemma3:4b plantait avec 4 Go ; avec 8 Go, elle a répondu correctement à 14 questions sur 15.

Que sait-on sur Précision, taille du modèle et charge ?

Dans le premier test sur 20 demandes, sept modèles affichaient 100 %. Sur 326 demandes, 9 modèles sur 10 obtiennent 87 à 92 %. L'écart de 2 à 3 points entre les leaders reste dans la marge d'erreur statistique : il vaut donc mieux choisir selon la vitesse et la mémoire, et valider le modèle sur plusieurs centaines de ses propres exemples. L'annotation de référence des 326 demandes a été produite par des modèles ; l'auteur a annoté à l'aveugle 50 demandes tirées au hasard, dont 45 coïncident avec la référence.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…