Un passionné fait tourner DeepSeek-V4-Flash avec 64 Go de RAM, sans GPU : jusqu'à 15 tokens par seconde

D'ordinaire, la discussion sur l'exécution locale des grands modèles se résume à une seule question : de combien de mémoire vidéo disposez-vous ? Un passionné a publié le projet llama-modchip sous licence Apache 2.0 et affirme qu'un PC ordinaire avec 64 Go de RAM suffit pour un modèle de 284 milliards de paramètres. Pas besoin de carte graphique, ni de swap. Voyons ce qui a été réellement fait et si l'on peut y croire.

Le résultat

llama-modchip est un ensemble de correctifs pour les noyaux ggml/llama.cpp, d'outils de quantification et de scripts permettant d'exécuter des modèles MoE parcimonieux directement sur le processeur. Le modèle visé est DeepSeek-V4-Flash : 284 milliards de paramètres au total, dont 13 milliards actifs.

Voici les chiffres de l'auteur. Pic de consommation mémoire d'environ 58 Go avec un contexte de 256 000 tokens. Le prefill, c'est-à-dire la « lecture » de la requête, tourne à 44 tokens par seconde. La génération produit de 9 à 15 tokens par seconde. Les tests ont été menés sur un Ryzen 9 9955HX à 16 cœurs. C'est à peu près le rythme auquel on peut encore lire confortablement le texte à mesure qu'il apparaît à l'écran. C'est correct pour un chat ou des tâches en arrière-plan, mais déjà un peu lourd pour travailler de façon interactive sur de longs documents : avec 44 tokens par seconde en prefill, charger un grand contexte prendra un temps notable.

Pourquoi c'est possible

Deux techniques se combinent ici.

La première est inscrite dans le modèle lui-même. Un MoE (mixture of experts) ressemble à une grande bibliothèque où, pour chaque question, on n'ouvre que les livres-experts pertinents. Tout est stocké, mais seule une petite partie est calculée. En termes de calcul, DeepSeek-V4-Flash se rapproche donc des modèles de taille moyenne : seuls 13 milliards de paramètres travaillent pour chaque token. Un processeur peut encaisser cette charge. Le goulot d'étranglement est ailleurs : il faut conserver en mémoire l'ensemble des 284 milliards de poids.

La seconde technique est le travail de l'auteur. Il quantifie agressivement les experts routés, jusqu'à 1,56 bit par poids selon le schéma IQ1_S, et utilise son propre format de fichiers. En calculant grossièrement, 284 milliards de poids à un peu plus d'un bit et demi donnent un peu plus de 50 Go. Cela tient dans 64 Go, avec une marge pour le contexte et le système.

Le bilan est simple : le MoE règle le problème du calcul, la quantification règle celui du volume mémoire. Dans ce schéma, la carte graphique devient tout simplement inutile.

Où est le piège

Il y a plusieurs bémols, à garder en tête.

Premièrement, le mot « lossless » dans le README. Il signifie uniquement que les logits coïncident avec ceux d'une version non patchée sur les mêmes poids quantifiés. Autrement dit, les correctifs des noyaux ne cassent rien. Personne n'a comparé le résultat avec le modèle en pleine précision. Or à 1,56 bit par poids, il y a presque certainement une perte de qualité ; la question est seulement son ampleur. Pour le code, les raisonnements longs et l'appel d'outils, même une légère dégradation peut s'avérer critique.

Deuxièmement, tous les chiffres ont été obtenus par l'auteur lui-même. Il n'existe pas encore de reproductions indépendantes : la vitesse et la consommation mémoire peuvent donc différer sur un autre matériel.

Troisièmement, la compatibilité. Les fichiers quantifiés ne s'ouvrent pas dans llama.cpp standard, Ollama ni LM Studio. Il faut précisément la version compilée du projet, ce qui implique d'accepter un fork et de suivre son maintien.

Que faire de tout cela

Pour un développeur ou un product manager, la conclusion est pragmatique. Ce n'est pas encore une solution prête pour la production, mais une preuve de concept : un modèle MoE de taille frontière peut tenir dans un PC de bureau ordinaire. Si les mesures se confirment, les équipes disposeront d'un moyen économique de faire tourner localement de grands modèles pour des prototypes, des scénarios hors ligne et des tâches où les données ne peuvent pas être envoyées dans le cloud.

Plan pratique : attendre des reproductions indépendantes et, si vous avez une machine libre avec 64 Go, faire tourner le modèle vous-même sur vos tâches et le comparer à une API ou à des modèles plus petits. C'est la qualité sur vos données qui décidera si la version à 1,56 bit mérite l'attention. Une vitesse de 9 à 15 tokens par seconde peut être acceptable pour des agents hors ligne ou du traitement par lots, mais pas pour des produits interactifs avec des dizaines d'utilisateurs.

La tendance générale, elle, est claire. La mémoire et les cartes graphiques renchérissent, et les optimisations logicielles comme celle-ci commencent à concurrencer le matériel. Pour l'instant, c'est plus une belle promesse qu'un nouveau standard, mais cette direction mérite d'être suivie.