Un développeur a codé DeepSeek V3 en 190 lignes de JAX et l'a entraîné sur un MacBook Air en 2,6 heures
Le rapport technique de DeepSeek V3 est ardu à lire, et le code réel du modèle compte des milliers de lignes. Un développeur a condensé l'architecture en 190 lignes de JAX (la bibliothèque de Google pour les réseaux de neurones) et a entraîné une version miniature de 36,2 millions de paramètres sur un MacBook Air M5, en 2,6 heures. Il s'agit d'un banc d'essai pédagogique : le modèle a lu 207 romans policiers et écrit avec fluidité, mais sans grand sens. Pour comprendre le fonctionnement de DeepSeek, il est plus simple de lire ce code.
Traité par IA depuis Hacker News AI ; édité par Hamidun News
Le rapport technique de DeepSeek V3 est pénible à lire : il regorge de formules, alors que le code réel du modèle occupe des milliers de lignes et de dépendances, où l'idée elle-même se perd. Le développeur Vaibhaav Tiwari a montré sur Hacker News comment contourner cet obstacle. Il a condensé toute l'architecture de DeepSeek V3 en 190 lignes de JAX (la bibliothèque de Google pour le calcul numérique et l'entraînement de réseaux de neurones), puis a entraîné une copie réduite directement sur un ordinateur portable MacBook Air M5, en 2,6 heures. Le résultat est un modèle de 36,2 millions de paramètres, contre 671 milliards pour l'original. Il n'est pas puissant, mais ce code se lit comme un manuel.
Ce qui se trouve dans ces 190 lignes
Le projet est écrit sans Flax, Equinox ni PyTorch. Les paramètres sont de simples dictionnaires contenant des tableaux, et chaque partie du modèle est une fonction qu'on peut lire de haut en bas. L'auteur a reproduit les principaux mécanismes de DeepSeek V3 sous une forme réduite.
Le premier mécanisme est l'attention latente multi-têtes (Multi-head Latent Attention, MLA). L'attention classique stocke dans le cache les clés et les valeurs complètes de chaque token, ce qui consomme beaucoup de mémoire sur un long texte. La MLA ne conserve qu'un petit vecteur compressé par token et par couche, à partir duquel elle reconstruit ce dont elle a besoin. La clé rotative (rotary) distincte est commune à toutes les têtes et se trouve en dehors du vecteur compressé.
Le deuxième est le mélange d'experts (MoE). Imaginez un centre d'appels : un opérateur généraliste répond à tous, et il existe 16 spécialistes pointus, dont quatre des meilleurs sont sollicités pour chaque question. Ici, le principe est le même : un expert partagé fonctionne en permanence, auquel s'ajoutent 16 experts routés, dont quatre sont sélectionnés pour chaque token. C'est pourquoi 13,6 millions des 36,2 millions de paramètres sont actifs par token.
Le troisième est l'équilibrage sans fonction de perte auxiliaire. Pour que tous les spécialistes du centre d'appels soient sollicités, chaque expert dispose d'un biais qui oriente le routeur vers les experts inactifs. Ce biais n'influence que le choix des experts, et non leurs poids. Un petit terme d'équilibrage au niveau de la séquence, avec un coefficient de 1e-4, est en outre ajouté, comme dans l'article.
Le quatrième est la prédiction de plusieurs tokens (Multi-Token Prediction, MTP). Un module supplémentaire prédit non seulement le token suivant, mais aussi celui d'après, avec un poids de 0,3 dans l'erreur d'entraînement globale. Les calculs se font en bf16 au-dessus de poids maîtres en f32.
Entraînement et résultats
Le corpus compte 207 romans policiers du domaine public américain : des romans de Dashiell Hammett (répétés trois fois dans les données) et une vingtaine d'ouvrages du projet Gutenberg. Au total, 21,7 millions de tokens, avec un tokenizer BPE de 8192 tokens. La validation s'effectue sur des textes criminels mis de côté.
L'entraînement principal comprend 12 000 étapes, soit environ 98 millions de tokens (près de 4,5 époques), en 2,6 heures sur un MacBook Air M5 doté de 24 Go de mémoire.
L'expérience la plus parlante concerne l'équilibrage. À la 2000e étape, avec le biais activé, chaque expert recevait entre 5,7 % et 6,9 % des tokens, pour un idéal de 6,25 %. Sans ce biais, les parts s'échelonnaient de 0,09 % à 18,6 % : certains experts étaient surchargés, d'autres travaillaient à peine. Pourtant, l'erreur sur les textes de validation est pratiquement identique : 3,921 avec équilibrage et 3,923 sans. Le biais répartit donc la charge sans coût, comme l'annonce l'article de DeepSeek.
Selon l'auteur, le modèle lui-même est faible. À partir du début de phrase « The fog came in off the », il complète : « bay, and the great trees were spreading and the stars were shining ». La grammaire est correcte, mais le sens reste flou.
Limites et public concerné
L'auteur énumère honnêtement ce qui manque. Chaque expert calcule chaque token, et les résultats des experts non sélectionnés sont simplement mis à zéro : le calcul du routage est exact, mais il n'y a ni répartition clairsemée des tokens ni parallélisme entre experts. Dans la MLA, il n'y a pas d'absorption des poids (weight absorption) : clés et valeurs sont explicitement dépliées, ce qui se lit plus facilement mais ralentit l'inférence. L'entraînement en FP8, DualPipe, la limitation du routage par nœud, l'extension de contexte YaRN et tout post-entraînement ne sont pas implémentés. L'échelle est également incomparable : 6 couches contre 61, un contexte de 256 tokens contre 128 000.
Le projet n'en est pas moins facile à reproduire. On compte 39 tests : masquage des tokens futurs, concordance du cache avec une passe complète, routage, cibles MTP, poids maîtres en bf16, et d'autres. Le code tourne sur Apple Silicon via jax-metal ; sur CPU, il est plus lent, et une configuration réduite est prévue à cet effet. Sur une AMD RX 7600 XT de 16 Go, un entraînement complet prend environ 50 minutes à près de 35 000 tokens par seconde, avec une erreur de validation de 3,527 contre 3,507 sur Mac.
Un avertissement de sécurité s'impose : le point de contrôle est sauvegardé au format pickle de Python, et le chargement d'un tel fichier peut exécuter du code arbitraire. Ne le chargez que depuis une source de confiance, ou mieux, entraînez le modèle vous-même.
Le bilan pratique est simple. Pour comprendre la MLA, le MoE et la MTP, inutile de s'attaquer au code industriel : une soirée avec ce dépôt et un ordinateur portable suffit. Comme aide-mémoire sur l'architecture de DeepSeek, il est plus utile que bien des résumés, et comme banc d'essai pour expérimenter le routage des experts, il est plus commode que des frameworks volumineux.
- 21 nov. 2026MLCommons se met à mesurer les API d'IA sous charge réelle : 7 mesures pour les agents
- 21 nov. 2026Via OpenRouter, une DeepSeek piratée a répondu pendant trois jours : les refus sont tombés de 83–98 % à 1 %
- 21 nov. 2026Alice, ChatGPT et Perplexity ne citent que 34 sites sur 309 pour les articles
- 21 nov. 2026CoreWeave a mesuré Vera Rubin : jusqu'à 10 fois plus de tokens par mégawatt que le GB200
Questions clés sur cet article
Que sait-on sur Ce qui se trouve dans ces 190 lignes ?
Le projet est écrit sans Flax, Equinox ni PyTorch. Les paramètres sont de simples dictionnaires contenant des tableaux, et chaque partie du modèle est une fonction qu'on peut lire de haut en bas. L'auteur a reproduit les principaux mécanismes de DeepSeek V3 sous une forme réduite. Le premier mécanisme est l'attention latente multi-têtes (Multi-head Latent Attention, MLA).
Que sait-on sur Entraînement et résultats ?
Le corpus compte 207 romans policiers du domaine public américain : des romans de Dashiell Hammett (répétés trois fois dans les données) et une vingtaine d'ouvrages du projet Gutenberg. Au total, 21,7 millions de tokens, avec un tokenizer BPE de 8192 tokens. La validation s'effectue sur des textes criminels mis de côté. L'entraînement principal comprend 12 000 étapes, soit environ 98 millions de tokens (près de 4,5 époques), en 2,6 heures sur un MacBook Air M5 doté de 24 Go de mémoire.
Que sait-on sur Limites et public concerné ?
L'auteur énumère honnêtement ce qui manque. Chaque expert calcule chaque token, et les résultats des experts non sélectionnés sont simplement mis à zéro : le calcul du routage est exact, mais il n'y a ni répartition clairsemée des tokens ni parallélisme entre experts. Dans la MLA, il n'y a pas d'absorption des poids (weight absorption) : clés et valeurs sont explicitement dépliées, ce qui se lit plus facilement mais ralentit l'inférence.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.