Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)

Gemma 4 sur un mini-PC génère 63 tokens par seconde, Qwen3.8 seulement 12,8 : test de 14 LLM

Un auteur de Habr a passé 86 heures à faire tourner 14 réseaux de neurones locaux sur un mini-PC équipé d'un processeur Ryzen AI Max+ 395 et de 96 Go de mémoire. Le modèle dense Qwen3.8 27B génère 12,8 tokens par seconde, contre 63 pour Gemma 4 26B A4B, qui n'active qu'une partie de ses paramètres pour chaque mot, soit près de cinq fois plus vite. En revanche, Qwen3.8 est le meilleur pour lire les longs documents, et c'est pour cette raison que l'auteur l'a conservé pour les tâches complexes. Pour un chat en temps réel, privilégiez un modèle rapide ; pour un travail de fond lourd, un modèle dense.

Traité par IA depuis Хабр: Машинное обучение ; édité par Hamidun News
Gemma 4 sur un mini-PC génère 63 tokens par seconde, Qwen3.8 seulement 12,8 : test de 14 LLM
Source : Хабр: Машинное обучение. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireХабр: Машинное обучение ↗
Rédacteur en chef
Chiffre clé #1Windows n'a accordé au GPU intégré que 48 Go de mémoire, contre 80 Gio sous Ubuntu
Chiffre clé #2Une fenêtre de contexte de 200K tokens prend entre 8 et 23 minutes à lire aux modèles
Chiffre clé #3Gemma 4 26B Uncensored anime le chatbot, Qwen3.8 27B avec MTP se charge des tâches de fond

Deux chatbots locaux tournant sur le même petit ordinateur peuvent répondre avec un écart de vitesse de cinq pour un, alors que les fichiers des modèles ont presque la même taille. L'auteur de l'analyse publiée sur Habr a fait tourner pendant une semaine, soit 86 heures, 14 réseaux de neurones locaux sur le mini-PC GMKtec EVO-X2. Il embarque un processeur Ryzen AI Max+ 395 avec le GPU intégré Radeon 8060S et 96 Go de mémoire, partagés entre le processeur et la carte graphique.

Il a mesuré la vitesse en tokens par seconde : un token est un fragment de mot, et plus il y en a par seconde, plus le texte s'affiche vite à l'écran. Le modèle dense Qwen3.8 27B a généré 12,8 tokens par seconde, contre 63 pour Gemma 4 26B A4B.

Si vous pensez pouvoir confier une partie de vos tâches au cloud et les rapatrier en local, ces chiffres vous aideront à choisir à la fois le modèle et le matériel.

Le banc d'essai et son objectif

Logiciels de la machine : Ubuntu 26.04, LM Studio 0.4.

28 et le moteur llama.cpp sous Vulkan. Toutes les couches du modèle étaient chargées sur le GPU, Flash Attention était activé et les requêtes étaient traitées une à une.

Presque tous les modèles ont été utilisés en version compressée Q4 (les poids sont stockés sur quatre bits pour occuper moins de mémoire), à l'exception de gpt-oss-20b, au format MXFP4. La taille du contexte, c'est-à-dire le volume de texte que le modèle garde sous les yeux, a été testée à 64K, 128K et 256K tokens. Trois modèles ne supportent que 128K.

L'auteur reconnaît une lacune : il n'a pas noté le type de quantification du cache KV, il n'est donc pas possible de reproduire les conditions dans le moindre détail.

Premier enseignement pratique, lié au système d'exploitation. Pour les LLM locaux, il est crucial de savoir combien de mémoire on peut allouer au GPU. Sous Windows, avec la configuration de 96 Go, il n'a pas été possible d'en allouer plus de 48 Go ; sous Linux, l'auteur en a obtenu 80 Gio. C'est pourquoi le mini-PC fonctionne sous Ubuntu. Si vous achetez une plateforme similaire pour de gros modèles, vérifiez cette limite avant l'achat.

La machine a été acquise pour deux raisons : elle a été livrée depuis la Chine, et une attaque a visé un centre de données de Yandex. Les agents de l'auteur tournaient sur Yandex Cloud, et il s'est retrouvé privé de ses outils habituels. Il n'a pas calculé le retour sur investissement et continuera à utiliser les modèles cloud les plus avancés tant qu'il le pourra. La question était pratique : qu'est-ce qui, dans le travail quotidien, peut être entièrement confié aux modèles locaux ?

Vitesse : la taille du fichier ne garantit rien

Le tour de qualification comptait 12 modèles. Quatre leaders et deux nouveaux candidates, ajoutés après la sélection, ont atteint la finale, soit 14 modèles au total testés. Le résultat le plus parlant concerne l'architecture des modèles. Le modèle dense Qwen3.8 27B génère 12,8 tokens par seconde. Gemma 4 26B A4B, sur le même matériel, en génère 63, alors que les fichiers ont presque la même taille.

La différence s'explique par l'architecture. Dans un modèle dense, tous les paramètres travaillent pour chaque token. Gemma 4 26B A4B est de type MoE (« mélange d'experts ») : pour chaque token, seule une partie des experts est activée, environ 4 milliards de paramètres sur 26 d'après son nom. La mémoire requise reste la même, mais le calcul est nettement moindre, d'où l'écart d'environ cinq fois. Pour un chat où l'on attend la réponse, 12,8 tokens par seconde ressemble à une frappe lente, tandis que 63 permettent une conversation fluide.

Long contexte : lire en minutes

La taille de la fenêtre n'a pas affecté la vitesse ni les scores, à requête identique. Activer 256K « au cas où » n'a pas de pénalité en soi. En revanche, la lecture d'une entrée longue coûte cher : 200K tokens prennent entre 8 et 23 minutes aux modèles. Pour un agent qui relit régulièrement un grand dépôt de code ou un ensemble de documents, c'est une contrainte directe sur le scénario d'usage.

Sur long contexte, c'est Qwen3.8 qui a le mieux tenu. C'est la principale raison pour laquelle l'auteur l'a gardé, malgré une génération plus lente.

Ce qui reste en mémoire

L'auteur garde deux modèles chargés en même temps. Gemma 4 26B Uncensored répond dans le bot conversationnel, où la rapidité des échanges compte. Qwen3.8 27B avec MTP prend en charge les tâches plus complexes et le travail de fond, où l'on peut attendre, mais où la qualité et la stabilité sur de gros volumes d'entrée sont essentielles. MTP est un mode de prédiction multi-tokens qui accélère la génération.

Ce qu'il faut retenir de cette analyse. Premièrement, choisissez le modèle selon le type de tâche : un MoE rapide pour le dialogue, un modèle dense pour le traitement de fond lourd. Deuxièmement, prévoyez du temps pour la lecture d'un long contexte, et pas seulement pour la génération de la réponse. Troisièmement, vérifiez la quantité de mémoire que votre système d'exploitation alloue au GPU.

Les limites sont aussi à garder à l'esprit. Il s'agit des résultats d'une seule personne, sur une seule configuration. L'auteur a affiné sa méthode en cours de route, certains essais ont été relancés, et la quantification du cache KV n'est pas documentée. Ces chiffres constituent un repère pour un serveur domestique ou un petit serveur de bureau, mais pas un benchmark rigoureux. L'auteur lui-même écrit qu'il veut faire gagner quelques soirées à ses lecteurs, et non rendre un verdict définitif.

Dossier

Questions clés sur cet article

Que sait-on sur Le banc d'essai et son objectif ?

Logiciels de la machine : Ubuntu 26.04, LM Studio 0.4.28 et le moteur llama.cpp sous Vulkan. Toutes les couches du modèle étaient chargées sur le GPU, Flash Attention était activé et les requêtes étaient traitées une à une. Presque tous les modèles ont été utilisés en version compressée Q4 (les poids sont stockés sur quatre bits pour occuper moins de mémoire), à l'exception de gpt-oss-20b, au format MXFP4.

Que sait-on sur Vitesse : la taille du fichier ne garantit rien ?

Le tour de qualification comptait 12 modèles. Quatre leaders et deux nouveaux candidates, ajoutés après la sélection, ont atteint la finale, soit 14 modèles au total testés. Le résultat le plus parlant concerne l'architecture des modèles. Le modèle dense Qwen3.8 27B génère 12,8 tokens par seconde. Gemma 4 26B A4B, sur le même matériel, en génère 63, alors que les fichiers ont presque la même taille. La différence s'explique par l'architecture.

Que sait-on sur Long contexte : lire en minutes ?

La taille de la fenêtre n'a pas affecté la vitesse ni les scores, à requête identique. Activer 256K « au cas où » n'a pas de pénalité en soi. En revanche, la lecture d'une entrée longue coûte cher : 200K tokens prennent entre 8 et 23 minutes aux modèles. Pour un agent qui relit régulièrement un grand dépôt de code ou un ensemble de documents, c'est une contrainte directe sur le scénario d'usage. Sur long contexte, c'est Qwen3.8 qui a le mieux tenu.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…