MiniMind, projet open source : entraîner un modèle de langage de 64 millions de paramètres en 2 heures pour 3 yuans
Vous voulez comprendre le fonctionnement d'un modèle de langage de l'intérieur, plutôt que de réentraîner celui de quelqu'un d'autre avec des bibliothèques toutes faites ? Le projet open source MiniMind fournit l'ensemble du code en PyTorch pur pour un modèle de 64 millions de paramètres (poids), soit des centaines de fois moins que les assistants habituels. L'étape SFT, où le modèle apprend à tenir une conversation, prend environ 2 heures sur une seule carte graphique RTX 3090 et coûte environ 3 yuans de location. Tester des idées comme DPO, LoRA ou le RL est donc bien moins coûteux ici que sur un grand modèle.
Traité par IA depuis GitHub Trending AI ; édité par Hamidun News
La plupart des développeurs connaissent l'entraînement des LLM ainsi : vous prenez un modèle prêt à l'emploi, vous branchez une bibliothèque, vous écrivez une dizaine de lignes, et tout se réentraîne « automatiquement ». C'est pratique, mais il reste une boîte noire. Le projet MiniMind, qui a obtenu 188 étoiles sur GitHub Trending en une seule journée, propose l'inverse : construire et entraîner soi-même un petit modèle de langage, de bout en bout.
Les chiffres du titre signifient ceci. « 64 millions de paramètres » désigne le nombre de poids réglables du modèle ; les assistants habituels en comptent des dizaines ou des centaines de milliards, donc MiniMind est des centaines de fois plus petit. « 2 heures » correspond au temps mesuré réellement pour l'étape SFT (apprentissage du dialogue à partir d'exemples « question — réponse ») sur une seule carte graphique NVIDIA RTX 3090.
« 3 yuans » représentent le coût de location du GPU pour ces deux heures.
L'auteur, Jingyao Gong, compare les wrappers habituels de l'entraînement à un vol en première classe, et son approche à l'assemblage d'un avion à partir d'un kit de construction. Il critique aussi les cours en ligne où les LLM sont expliqués de façon superficielle et parfois erronée. C'est pourquoi tous les algorithmes clés du dépôt sont écrits en PyTorch « nu », sans interfaces de haut niveau issues de bibliothèques tierces.
Ce qu'il y a dedans et comment lire les « deux heures »
Le projet couvre l'ensemble du parcours : nettoyage et déduplication des données, préentraînement (le modèle lit un corpus et apprend à prédire le token suivant), SFT, LoRA, DPO, apprentissage par renforcement et distillation. LoRA est un réglage fin léger où l'on n'entraîne qu'un petit ajout aux poids, le modèle principal restant intact ; ici, il est écrit sans la bibliothèque peft. DPO entraîne le modèle sur des paires « bonne réponse — mauvaise réponse ».
PPO, GRPO et CISPO sont des algorithmes d'apprentissage par renforcement où la réponse est évaluée par un autre modèle ou par une règle vérifiable. On trouve aussi Tool Use et Agentic RL (appel d'outils et apprentissage sur le résultat d'un scénario en plusieurs étapes), ainsi qu'un commutateur « réfléchir ou répondre directement ».
Réserve importante : les deux heures et les trois yuans ne concernent que l'étape SFT. Le préentraînement est une étape à part, mais pour ceux qui n'ont qu'une seule carte, les auteurs ont préparé des jeux de données allégés : pretrain_t2t_mini de 1,2 Go et sft_t2t_mini de 1,6 Go. Les versions complètes pèsent 10 Go et plus. Le banc d'essai des auteurs compte huit RTX 3090 de 24 Go, mais le projet prend en charge aussi bien une carte que plusieurs (DDP, DeepSpeed), la reprise après un plantage, ainsi que les graphiques dans wandb et swanlab.
Pour l'exécution et l'évaluation, tout est fourni : évaluation sur C-Eval, C-MMLU et OpenBookQA, extension du contexte via YaRN, serveur minimal compatible avec l'API OpenAI et interface de chat sous Streamlit. Les poids prêts à l'emploi fonctionnent avec llama.cpp, vLLM et Ollama, et l'on peut les connecter à Open-WebUI et FastGPT.
Ce que cela enseigne et où sont les limites
Le README contient aussi des observations d'ingénierie utiles au-delà du projet. Le tokenizer y est volontairement petit : dans un modèle minuscule, un grand vocabulaire absorberait une part notable des paramètres, c'est pourquoi les auteurs déconseillent de le réentraîner. Pour les petits modèles, selon un constat issu du travail MobileLLM, une architecture « profonde et étroite » est généralement plus avantageuse qu'une architecture « large et peu profonde », même si l'étroitesse a une limite inférieure. Quant à la variante MoE (où les requêtes sont réparties entre des « experts »), son implémentation native en PyTorch apprend nettement plus lentement qu'un modèle classique : on ne peut l'accélérer qu'avec des bibliothèques spécialisées optimisées.
Les auteurs décrivent eux-mêmes les limites. Un modèle de 64 millions de paramètres connaît peu de faits, et les premières versions pouvaient produire des non-sens au lieu d'une réponse. Les outils présents dans les données d'entraînement sont quelques simulations, comme la requête de l'heure, les calculs mathématiques et la météo ; il n'existe donc pas encore de véritable capacité à travailler avec des API arbitraires. Si l'on active à la fois le raisonnement et l'appel d'outils, le modèle ne montre généralement pas son cheminement : les données ne contiennent aucun exemple combinant les deux.
Conclusion pratique : MiniMind ne remplacera pas un modèle de production, mais c'est un banc d'essai peu coûteux. Il permet de comparer DPO et GRPO, de comprendre comment votre jeu de données se comporte en SFT, et d'apprendre à une équipe à lire le code d'entraînement sans la magie des bibliothèques. La licence Apache 2.0 autorise une utilisation libre du code, et lorsqu'il faut trouver où un pipeline casse, le plus économique est de le vérifier sur un modèle que l'on peut réentraîner en une soirée.
- 21 nov. 2026Plannotator даёт комментировать планы 10 ИИ-агентов в браузере: 100 звёзд на GitHub за день
- 21 nov. 2026World Labs ouvre l'API d'Atlas : une scène 3D à partir de photos, prête pour les moteurs de jeu
- 21 nov. 2026LangChain en un an : valorisation passée de 1,25 à 3 milliards de dollars et 300 millions levés pour le contrôle des agents
- 21 nov. 2026Yandex ouvre un catalogue de plus de 20 plugins pour Alice AI : elle travaille avec le CRM et 1C
Questions clés sur cet article
Que sait-on sur Ce qu'il y a dedans et comment lire les « deux heures » ?
Le projet couvre l'ensemble du parcours : nettoyage et déduplication des données, préentraînement (le modèle lit un corpus et apprend à prédire le token suivant), SFT, LoRA, DPO, apprentissage par renforcement et distillation. LoRA est un réglage fin léger où l'on n'entraîne qu'un petit ajout aux poids, le modèle principal restant intact ; ici, il est écrit sans la bibliothèque peft. DPO entraîne le modèle sur des paires « bonne réponse — mauvaise réponse ».
Que sait-on sur Ce que cela enseigne et où sont les limites ?
Le README contient aussi des observations d'ingénierie utiles au-delà du projet. Le tokenizer y est volontairement petit : dans un modèle minuscule, un grand vocabulaire absorberait une part notable des paramètres, c'est pourquoi les auteurs déconseillent de le réentraîner. Pour les petits modèles, selon un constat issu du travail MobileLLM, une architecture « profonde et étroite » est généralement plus avantageuse qu'une architecture « large et peu profonde », même si l'étroitesse a une limite inférieure.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.