Un vétéran de Microsoft fait tourner un transformer sur un PDP-11 à 6 MHz et 64 Ko de mémoire

Le vétéran de Microsoft Dave Plummer a montré qu'on peut non seulement expliquer simplement un transformer, mais aussi le faire tourner littéralement sur du matériel de la fin des années 1970. Son expérience avec un mini-ordinateur PDP-11 à 6 MHz et 64 Ko de RAM ramène le débat sur l'IA à du concret : l'entraînement, c'est beaucoup d'arithmétique, de répétitions et d'optimisation soignée.

Un vieil ordinateur, une nouvelle tâche

Plummer est connu comme le développeur qui a participé, par le passé, à la création de composants importants de Windows. Dans sa nouvelle vidéo, il ne s'est pas lancé dans un tour de force nostalgique pour récolter des likes, mais dans la démonstration d'un principe de base des modèles actuels. Au centre de l'expérience : un système PDP-11 de 47 ans, une machine d'une époque où personne ne rêvait de grands modèles de langage.

C'est le contraste qui rend le projet convaincant : si une version allégée d'un transformer peut être entraînée sur un tel appareil, le cœur de l'idée est bien plus simple qu'il n'y paraît face aux data centers et aux budgets de milliards.

Sur le PDP-11 tournait Attention 11, un modèle écrit en assembleur PDP-11 par le développeur Damien Boureille. Sa tâche n'est modeste qu'en apparence : prendre une séquence de huit nombres et la restituer dans l'ordre inverse. L'enjeu n'est pas de mémoriser quelques exemples, mais de saisir une règle qui fonctionnera sur de nouvelles données d'entrée. C'est précisément ce que souligne Plummer : même dans un scénario aussi simpliste, le modèle doit apprendre la structure, et non se contenter de deviner la réponse suivante d'après un schéma.

Comment le modèle a été comprimé

Pour que l'expérience ait une chance de fonctionner, les développeurs ont dû comprimer l'architecture à l'extrême. Attention 11 n'est pas une mini-copie de ChatGPT, mais un transformer à une seule couche, avec un seul mécanisme d'attention, poussé jusqu'au minimalisme d'ingénieur. Le modèle ne compte que 1216 paramètres. Au lieu des grands blocs de mémoire et des accélérateurs habituels dans les projets d'IA actuels, il utilise des calculs en virgule fixe, et la passe avant a été réduite à une précision de 8 bits. En somme, c'est un squelette pédagogique de transformer, où l'on n'a gardé que l'essentiel pour démontrer le processus d'entraînement lui-même.

• 1216 paramètres au lieu de milliards
• calculs en virgule fixe
• précision de 8 bits pour la passe avant
• optimisation de presque chaque cycle du processeur
• une tâche de découverte d'une règle, et non de mémorisation d'exemples

Mais même avec de telles contraintes, le résultat n'a rien eu de décoratif. Plummer indique que le modèle a atteint 100 % de précision en environ 350 étapes d'entraînement. Sur un système PDP-11/44 équipé d'une carte de mémoire cache, cela a pris environ trois minutes et demie. Comparée aux GPU actuels, c'est évidemment une vitesse de musée. Mais pour une machine à 6 MHz avec 64 Ko de RAM, le fait de mener un véritable entraînement compte plus que le temps absolu : l'expérience prouve que les principes des transformers n'exigent pas de magie, seulement des ressources et de la bonne ingénierie.

Pas de la magie, des maths

Le but principal du projet n'était pas de trouver un substitut pratique et utile aux modèles actuels. Plummer a cherché à montrer une chose plus désagréable pour les romantiques : il n'y a pas de feu sacré à la base de l'IA. Il y a un cycle d'erreurs, de corrections et de répétitions où les poids s'ajustent peu à peu à la tâche. Sa démonstration fait donc office d'antidote à la mystification des réseaux de neurones. Elle retire la couche de marketing et laisse la mécanique à nu, observable presque image par image.

« De la devinette au savoir ».

C'est ainsi que Plummer décrit le moment où le modèle cesse de trébucher et se met à appliquer de façon stable la règle qu'il a trouvée.

C'est l'effet le plus intéressant de l'expérience : le spectateur ne voit pas une réponse intelligente toute faite, mais la naissance d'une capacité à travers des corrections successives. Dans le contexte des discours sur l'AGI, cela dégrise. Les systèmes actuels impressionnent non parce qu'ils violent les lois du calcul, mais parce que le même mécanisme tourne à une échelle colossale, sur des données, des modèles et des clusters de calcul incomparablement plus grands.

Ce que cela signifie

L'expérience du PDP-11 ne prouve pas qu'on puisse transposer ChatGPT sur un ordinateur rétro. En revanche, elle montre très clairement autre chose : les idées de base des transformers sont assez compactes pour être comprises, reproduites et entraînées même sur du matériel ancien. Pour le marché, c'est un argument de plus en faveur de petits modèles efficaces et d'une optimisation soignée, surtout maintenant que le coût du calcul devient un facteur de concurrence à part entière.