Un ingénieur a fait tourner un modèle de 125 milliards de paramètres sur un PC de bureau à 22–25 tokens par seconde
Les banques et les grands groupes publics n'autorisent pas leur code ni leurs tâches à passer par des services d'IA dans le cloud. L'auteur a donc installé sous son bureau un modèle de 125 milliards de paramètres, avec une carte graphique de 16 Go et 128 Go de mémoire vive classique. Il s'agit d'une architecture MoE : pour chaque token (fragment de mot), seuls environ 6 milliards de paramètres sont sollicités. Le moteur Strata délivre 22–25 tokens par seconde, et la version compressée coïncide avec la référence 8 bits dans 93,1 % des cas. Pour des tâches agentiques de masse sur des données confidentielles, le circuit local fonctionne déjà.
Traité par IA depuis Habr AI ; édité par Hamidun News
Imaginez : vos agents d'IA écrivent du code, analysent des incidents à partir des journaux et gèrent le backlog, mais le service de sécurité de votre client demande où partent les descriptions de tâches, les morceaux de code et les données. Si la réponse est « vers des serveurs tiers dans le cloud », la discussion s'arrête souvent là. L'auteur de cette analyse travaille avec des grands groupes publics, des banques et des holdings industriels, et il a choisi une solution radicale : il a installé sous son bureau un modèle de 125 milliards de paramètres (c'est ainsi qu'on mesure la taille d'un réseau de neurones ; « 125B » dans le titre désigne exactement cela).
Il tourne sur une carte graphique de 16 Go de mémoire et délivre 22–25 tokens par seconde. Un token est un fragment de mot, donc ce chiffre traduit la vitesse à laquelle le modèle « tape » sa réponse. Aucun octet de données ne quitte pour autant le périmètre de l'entreprise.
Pourquoi le cloud et le masquage ne règlent pas la question
Avec une API cloud, les agents transmettent bien plus qu'on ne le pense : noms de projets, contreparties, montants, URL de systèmes internes, schémas de bases de données, parfois des clés d'accès. Ajoutez les métadonnées : qui a posé la question, quand et combien de fois. S'y ajoutent les exigences de la loi 152-FZ, les politiques de conservation des requêtes qui peuvent changer par une simple annonce, les limites sur les sous-agents parallèles, et la facture : un seul agent enquêteur peut consommer plusieurs millions de tokens d'entrée en une soirée.
Le masquage (remplacement des noms, des identifiants fiscaux et des montants par des marqueurs) aide, mais ne résout le problème qu'en partie. Le contrat et le client restent devinables à partir de la structure du JSON et des identifiants de tâches. Si l'on remplace le secteur d'activité par ORG_1 et le produit par PRODUCT_2, le modèle perd le sens métier et commence à se tromper. Le code et les configurations ne se nettoient pas avec une simple expression régulière, les métadonnées subsistent, et le pipeline de masquage lui-même doit être maintenu. La conclusion de l'auteur : les tâches impliquant du code et des données internes doivent être traitées uniquement en local.
Comment 125B tient dans 16 Go de mémoire vidéo
L'auteur a testé des modèles de 30 à 35 milliards de paramètres : ils ne suffisaient pas pour les longs contextes, le respect strict d'un format de réponse et l'appel d'outils. Un modèle « dense » de 125 milliards sur du matériel domestique ne produirait que quelques tokens par minute, car chaque token obligerait à parcourir les 65 Go de poids, même en 4 bits. C'est l'architecture MoE, le « mélange d'experts », qui a permis de contourner le problème : pour chaque token, seuls environ 6 milliards de paramètres sont activés, tandis que les autres experts restent en mémoire vive et sont chargés à la demande.
Environ 51 milliards de paramètres supplémentaires correspondent à des tables de n-grammes, lues ligne par ligne depuis la RAM. Restent dans la mémoire vidéo la couche d'attention, les couches communes et les experts les plus sollicités.
Le matériel est courant : une RTX 5060 Ti de 16 Go, un vieux Xeon E5-2640 v3 à 8 cœurs et 128 Gio de DDR4. Le principal frein est la vitesse de la mémoire : environ 25 Go/s lors des lectures aléatoires d'experts. Le démarrage a été modeste : environ 3 tokens par seconde dans LM Studio, puis 9,2 après un réglage manuel de llama.
cpp. Le moteur Strata (licence MIT), conçu spécifiquement pour cette architecture, a atteint après calibrage matériel environ 437 tokens/s pour le traitement du prompt et 25–28 tokens/s en génération avec la quantification IQ3_S. Cela représente environ trois fois le meilleur résultat de llama.
cpp. Les 22–25 tokens/s finaux ont été obtenus avec une quantification plus précise et un contexte natif de 262 144 tokens.
Ce qui a fait gagner en vitesse, et ce qui n'a rien changé
- Version du moteur. La mise à jour de Strata, associée au décodeur spéculatif (qui « devine » plusieurs tokens à l'avance), a apporté +79 % de vitesse de génération. Après chaque mise à jour, l'auteur recommande de recalibrer les paramètres.
- Quantification. Le choix ne détermine pas la qualité mais la répartition de la mémoire vidéo. La variante principale coïncide avec la référence 8 bits dans 93,1 % des cas.
- Fichier d'échange Windows. Le facteur limitant n'était pas la mémoire physique mais la commit limit (RAM plus fichier d'échange). Après avoir agrandi le pagefile, la génération est passée de 15,1 à 22,3 tokens/s (+48 %).
- Contexte et slots. Un long contexte coûte presque rien, alors que les slots parallèles sont chers : un second slot prend de la mémoire vidéo au cache des experts et divise la vitesse par requête à peu près par deux.
Limites et conclusion pratique
Il s'agit d'une expérience personnelle sur un matériel précis, et non d'un benchmark indépendant. Les chiffres dépendent de la vitesse de la mémoire, de la version du moteur et de la longueur du prompt, c'est pourquoi l'auteur ne compare les configurations que sur des prompts identiques d'environ 10 000 tokens. Le fonctionnement simultané de plusieurs agents sur une telle station reste limité.
En pratique, pour les équipes : si vos données sont sensibles ou si les exigences de sécurité sont strictes, ne commencez pas par le masquage. Évaluez d'abord un circuit local avec un modèle MoE. Prévoyez du temps pour le calibrage et ne lésinez pas sur la quantité de mémoire vive.
Le résultat dépend aussi de la préparation : des compétences avec des processus éprouvés, des bases de faits constituées à l'avance et des résultats vérifiables (tests, portails de validation, tests de bout en bout) comptent davantage que la vitesse de génération. Le circuit local sert en outre de canal de secours en cas de résiliation d'abonnement ou de coupure d'Internet. Le pronostic de l'auteur : un hybride, où le cloud assure la conception et les décisions complexes tandis que le modèle local prend en charge les vagues de tâches répétitives ainsi que toutes les données sensibles, deviendra la norme pour les équipes de développement dans un an ou deux.
- 21 nov. 2026Apple prépare un agent IA et complique l'accès aux tiers : l'autorisation passe désormais par 14 étapes, contre 4 auparavant
- 21 nov. 2026Le développeur n'est plus le dispatcheur des agents IA : Multica prend en charge les passages de relais
- 21 nov. 2026Un développeur se passe de Pinecone : recherche dans 72 450 fragments de code en 50 ms
- 21 nov. 2026Huit outils open source pour agents IA : Browser Use en tête avec 121 000 étoiles
Questions clés sur cet article
Pourquoi le cloud et le masquage ne règlent pas la question?
Avec une API cloud, les agents transmettent bien plus qu'on ne le pense : noms de projets, contreparties, montants, URL de systèmes internes, schémas de bases de données, parfois des clés d'accès. Ajoutez les métadonnées : qui a posé la question, quand et combien de fois.
Comment 125B tient dans 16 Go de mémoire vidéo?
L'auteur a testé des modèles de 30 à 35 milliards de paramètres : ils ne suffisaient pas pour les longs contextes, le respect strict d'un format de réponse et l'appel d'outils. Un modèle « dense » de 125 milliards sur du matériel domestique ne produirait que quelques tokens par minute, car chaque token obligerait à parcourir les 65 Go de poids, même en 4 bits.
Que sait-on sur Ce qui a fait gagner en vitesse, et ce qui n'a rien changé ?
Version du moteur. La mise à jour de Strata, associée au décodeur spéculatif (qui « devine » plusieurs tokens à l'avance), a apporté +79 % de vitesse de génération. Après chaque mise à jour, l'auteur recommande de recalibrer les paramètres. Quantification. Le choix ne détermine pas la qualité mais la répartition de la mémoire vidéo. La variante principale coïncide avec la référence 8 bits dans 93,1 % des cas. Fichier d'échange Windows.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.