DeepSeek-V4-Pro compressé 50 fois et exécuté sur une seule T4 gratuite de Kaggle

Une expérience menée avec DeepSeek-V4-Pro montre que même un modèle de 1,6 billion de paramètres peut être rendu opérationnel sans cluster de H100, à condition de renoncer à l'exécuter sous sa forme d'origine. Plutôt qu'une inférence complète, l'auteur du projet a construit une approximation extrêmement agressive : compression des poids par décomposition de bas rang, passage de shards gigantesques par un traitement en flux et adaptation manuelle de l'architecture aux outils existants. Le résultat est loin d'être prêt pour la production, mais le simple fait de l'exécuter sur une NVIDIA T4 gratuite de Kaggle illustre avec force le poids que pèsent aujourd'hui les mathématiques et l'ingéniosité des ingénieurs.

La description d'origine présente DeepSeek-V4-Pro comme un modèle MoE de 1,6 billion de paramètres, avec des poids dépassant 800 Go. Ce type de système exige d'ordinaire une tout autre infrastructure : plusieurs H100, une grande réserve de mémoire vidéo, des liaisons rapides entre nœuds et un volume correct de disque local. Dans ce contexte, choisir une instance Kaggle gratuite avec une T4 de 16 Go de VRAM et environ 50 Go de disque ne relève pas d'une tentative de reproduire un déploiement standard, mais d'une expérience aux limites du possible. La formulation du problème compte aussi : il ne s'agissait pas de conserver le modèle intact, mais de vérifier quelle part de structure utile subsiste après une compression radicale.

Le choix décisif du projet consiste à abandonner la quantification classique en 4 bits au profit d'une « transmutation » SVD, c'est-à-dire d'une décomposition de bas rang des matrices de poids. Selon l'auteur, le rang 64 a donné une compression d'environ 50 fois. Ce schéma conserve les principales dépendances entre paramètres, mais écarte une foule de détails et, avec eux, une partie de la qualité. Pour un modèle géant, c'est un échange brutal : la précision baisse, mais il devient possible de faire tenir le système sur du matériel accessible. Au fond, ce n'est plus le modèle d'origine au sens strict, mais son squelette mathématique, qui peut encore préserver une partie du contexte et des liens associatifs.

Le deuxième élément important est la manipulation des poids dans un mode MLOps quasi d'urgence. Au lieu de stocker tout l'ensemble des paramètres en local, l'auteur a traité les shards séquentiellement via `safe_open` : téléchargement d'un fichier, extraction du tenseur voulu, compression en mémoire RAM, envoi du résultat vers un dépôt, puis vidage complet du cache avant l'étape suivante. Cela a permis de faire passer sous la contrainte de disque un jeu de poids qui, normalement, ne tiendrait tout simplement pas sur une machine gratuite.

L'auteur souligne que la consommation de RAM n'a jamais dépassé 4 Go. Le détail compte, car dans ce genre de tâche le goulot d'étranglement n'est pas seulement la VRAM, mais aussi la logistique des fichiers, lorsque le modèle ne peut même pas être décompressé sans astuces intermédiaires.

La troisième couche est un vol d'identité architectural. Selon l'auteur, la bibliothèque transformers ne prenait pas encore en charge DeepSeek-V4 ; il a donc fallu déguiser la configuration en DeepSeek-V2 et corriger séparément le routage MoE par monkey patching. Sur le plan technique, c'est une méthode fragile : elle dépend de la version des bibliothèques, du format des configurations et de la conception du routeur d'experts.

Mais cette étape montre qu'une partie des limites autour des grands modèles tient non seulement au matériel, mais aussi à la compatibilité des outils. Si la pile logicielle ne connaît pas encore une nouvelle architecture, les chercheurs doivent souvent d'abord adapter le framework au modèle, puis seulement s'occuper de la qualité de la sortie.

On obtient ainsi une version du modèle qui, selon l'auteur, tient dans la mémoire d'une seule T4 et peut maintenir un contexte, mais se dégrade nettement en qualité. Parmi les effets secondaires cités figurent des hallucinations et un mélange de russe, d'anglais et de chinois dans une même réponse. Le système est donc un mauvais candidat pour des usages applicatifs fiables, où la précision, la stabilité et la prévisibilité comptent. En tant que preuve de concept, en revanche, le projet fonctionne : il montre que même les modèles open-weight ultra-volumineux ne se discutent pas seulement en termes de centres de données, mais peuvent aussi être démontés en configurations plus accessibles, bien que fortement amputées.

La conclusion principale n'est pas que la T4 serait soudain devenue un substitut à un cluster GPU moderne. C'est plutôt l'inverse : l'expérience met bien en évidence le prix de ces compromis et la limite au-delà de laquelle exécuter un modèle ne signifie plus une inférence complète, mais une reconstruction de recherche. Reste que de tels projets font avancer la pratique de la compression, de l'inférence approximative et du MLOps accessible. Plus ces solutions de contournement se multiplient, plus la barrière d'entrée s'abaisse pour ceux qui veulent expérimenter avec de grands modèles sans budget d'entreprise.