97 heures sur une seule carte graphique : l'expérience d'un réseau de neurones auto-apprenant et le piège des belles métriques

Imaginez : vous prenez un modèle de langage et vous voulez lui ajouter une nouvelle compétence, par exemple résoudre des équations différentielles ou écrire du code en Rust. La voie classique, c'est le fine-tuning. Il exige des données et des ressources de calcul, et conduit inévitablement à l'oubli catastrophique : le modèle perd d'anciennes capacités en en acquérant de nouvelles.

Et si l'on pouvait brancher des compétences comme des applications sur un smartphone, rapidement, de façon modulaire et sans effets secondaires ? C'est précisément l'idée qu'a voulu tester un chercheur indépendant, qui a publié un compte rendu détaillé sur Habr. Résultat : 97,5 heures de calcul sur une seule RTX 4090, 22 itérations d'expériences et l'une des déceptions les plus instructives du machine learning de ces derniers temps.

En soi, le concept d'extension modulaire des modèles de langage n'a rien de neuf. L'industrie discute depuis longtemps d'approches comme les adaptateurs LoRA, le mixture of experts et diverses architectures à plugins. L'auteur voulait aller plus loin : concevoir un système dans lequel le modèle ne se contenterait pas d'utiliser des modules externes, mais pourrait réellement s'améliorer lui-même en intégrant de nouvelles compétences à son fonctionnement, sans cycle complet de réentraînement. Une sorte de Saint Graal pour ceux qui travaillent avec des ressources de calcul limitées, c'est-à-dire l'écrasante majorité des chercheurs indépendants et des petites équipes, qui n'ont pas accès à des clusters de milliers de GPU.

Techniquement, l'architecture a fonctionné. Les modules se branchaient, le système tournait de façon stable, et les métriques sur les jeux de validation paraissaient convaincantes. Le chercheur a enchaîné une vingtaine d'itérations, affinant son approche à chaque fois, et à un moment donné, les chiffres sont devenus vraiment beaux. La loss baissait, la précision grimpait, les courbes d'entraînement affichaient exactement la dynamique que tout spécialiste du machine learning rêve de voir. Sur le papier, tout ressemblait à un succès.

Puis est venu l'heure de vérité : l'épreuve des tâches réelles. Et là s'est produit un phénomène bien connu des praticiens, mais dont on parle rarement à voix haute. Le modèle, qui affichait une maîtrise brillante du « langage des mathématiques » selon les métriques formelles, s'est révélé totalement incapable de résoudre des problèmes mathématiques concrets. Il avait appris à imiter la forme sans en maîtriser le fond. Il produisait des calculs d'apparence plausible, employait une notation correcte, alignait des raisonnements logiques à première vue, mais les réponses étaient fausses. Un exemple classique de ce que la communauté appelle la loi de Goodhart appliquée au machine learning : lorsqu'une métrique devient un objectif, elle cesse d'être une bonne métrique.

Ce cas met en lumière l'un des problèmes fondamentaux du machine learning actuel : le fossé entre l'optimisation des métriques et la compétence réelle. Les modèles de langage excellent à détecter des motifs statistiques et à les reproduire. Mais reproduire un motif et comprendre la logique qui le sous-tend sont deux choses fondamentalement différentes. Un modèle peut apprendre que certaines expressions mathématiques sont généralement suivies de certains symboles, sans comprendre pourquoi ces symboles se trouvent là. Pour le chercheur qui observe la courbe de loss et l'accuracy, la différence reste invisible tant que le système n'est pas confronté à une tâche qui exige une véritable généralisation.

Mais l'histoire ne s'arrête pas là, et c'est justement son dénouement qui la rend vraiment intéressante. Selon l'auteur, le modèle a fini par « trouver lui-même une issue » : dans certaines conditions, le système a commencé à manifester un comportement qui n'avait pas été explicitement programmé. Les détails de cette percée méritent une attention particulière, car ils touchent à l'un des sujets les plus brûlants de la recherche en intelligence artificielle : la capacité des modèles à un comportement émergent, lorsque des règles simples donnent naissance à des stratégies de résolution complexes et inattendues.

S'agit-il d'une véritable émergence ou d'une simple combinaison heureuse de choix d'architecture ? La question reste ouverte, mais le fait lui-même mérite un examen attentif.

Cette expérience vaut moins par ses résultats concrets que par les leçons qu'on peut en tirer. D'abord, elle rappelle la fragilité des métriques comme outil de mesure du progrès. Ensuite, elle montre qu'une recherche sérieuse sur les modèles de langage reste possible sur du matériel grand public, certes avec de fortes limitations.

Enfin, elle souligne la valeur de la publication ouverte des échecs : une industrie obsédée par les benchmarks records et les communiqués de presse annonçant la prochaine percée a cruellement besoin de récits honnêtes sur la façon dont de belles idées se fracassent contre la réalité. Ce sont précisément ces récits qui font avancer la science : pas les bulletins de victoire, mais l'analyse minutieuse de ce qui a échoué et pourquoi.