Andrej Karpathy fait tenir GPT en 243 lignes de Python pur

Il existe un genre de programmation à part, plus proche de la poésie que de l'ingénierie. Il consiste à réduire un système extrêmement complexe à son essence absolue, en retirant tout le superflu jusqu'à ce qu'il ne reste que des mathématiques et de la logique à l'état pur. C'est exactement ce qu'a fait Andrej Karpathy, cofondateur d'OpenAI et ancien responsable de l'IA chez Tesla. En février 2026, il a publié microGPT, une implémentation complète de l'architecture transformeur qui s'entraîne et génère du texte en 243 lignes de Python pur.

Pour mesurer la portée de ce travail, il faut rappeler le contexte. Les modèles de langage actuels comme GPT-4 ou Claude, ce sont des dizaines de milliards de paramètres, des milliers de GPU, des mois d'entraînement et des bases de code sur lesquelles travaillent des centaines d'ingénieurs. Derrière cette puissance industrielle, on oublie facilement qu'au cœur du dispositif se trouve une construction mathématique relativement élégante, décrite dans le célèbre article « Attention Is All You Need » de 2017. Karpathy a repris cette construction et montré qu'elle tient entièrement sur quelques écrans de code — sans PyTorch, sans NumPy, sans la moindre bibliothèque externe.

MicroGPT implémente tous les composants clés de l'architecture transformeur : la tokenisation, l'encodage positionnel, le mécanisme d'attention (self-attention), la propagation avant à travers les couches entièrement connectées, la normalisation et la rétropropagation de l'erreur pour l'entraînement. Chaque opération mathématique est codée à la main : multiplication de matrices, softmax, fonctions d'activation. Concrètement, toute personne disposant de bases en algèbre linéaire et en Python peut ouvrir ce fichier et suivre l'intégralité du chemin, du texte d'entrée jusqu'au token généré, sans se heurter aux abstractions d'un framework.

Karpathy qualifie modestement microGPT de « projet artistique », et la formule est plus juste qu'il n'y paraît. Ce n'est pas un outil destiné à un usage pratique : un modèle entraîné de cette manière ne tiendra pas de conversations sensées et ne remplacera pas ChatGPT. Les performances du Python pur, sans bibliothèques optimisées, sont inférieures de plusieurs ordres de grandeur à celles des frameworks spécialisés. Mais l'intérêt du projet se situe sur un tout autre plan. Il s'agit de démystifier une technologie qui façonne le monde actuel.

Cette démarche n'a rien de nouveau pour Karpathy. Il s'est imposé depuis longtemps comme l'un des meilleurs vulgarisateurs du deep learning. Son cours sur les réseaux de neurones à Stanford est devenu un classique, et sa série de vidéos « Neural Networks: Zero to Hero » sur YouTube a aidé des dizaines de milliers de personnes à en saisir les bases. microGPT s'inscrit dans cette continuité, mais place la barre plus haut : là où Karpathy expliquait auparavant les architectures avec PyTorch, il a désormais supprimé la dernière couche d'abstraction. Plus rien ne sépare le lecteur des mathématiques du transformeur.

La portée de ce geste dépasse le cadre pédagogique. L'industrie de l'intelligence artificielle traverse un moment paradoxal : la technologie gagne en influence, mais devient aussi de plus en plus opaque. Les entreprises ferment leurs modèles, publient de moins en moins de détails techniques, et le fossé se creuse entre ceux qui conçoivent l'IA et ceux qui l'utilisent. Dans ce contexte, des projets comme microGPT jouent un rôle essentiel : ils ramènent la compréhension fondamentale de la technologie dans l'espace public. Quand un responsable politique, un journaliste ou simplement un ingénieur curieux d'un domaine voisin veut comprendre ce qu'est vraiment GPT, 243 lignes de code offrent une réponse plus honnête que n'importe quel document marketing.

Il y a aussi un aspect pratique. Pour les jeunes chercheurs et les étudiants, microGPT constitue un bac à sable idéal. On peut modifier le mécanisme d'attention et observer ce qui se passe. On peut changer la fonction d'activation, expérimenter avec la taille de la fenêtre de contexte, ajouter sa propre variante d'encodage positionnel. Quand tout le code est sous les yeux et que chaque ligne est compréhensible, l'expérimentation cesse d'être de la magie noire pour devenir une méthode scientifique.

Au bout du compte, microGPT rappelle que derrière les valorisations à mille milliards des entreprises d'IA et les discours sur la superintelligence artificielle, il y a des mathématiques qui tiennent en quelques pages. L'échelle et la puissance de calcul transforment ces mathématiques en quelque chose de saisissant, mais le principe de base reste accessible. Et tant que des gens comme Karpathy accepteront de consacrer du temps à rendre simple ce qui est complexe, l'industrie aura une chance de rester non seulement puissante, mais aussi transparente.