97 heures sur une seule carte graphique : une expérience avec un réseau neuronal auto-apprenant et le piège des belles métriques

Imaginez : vous prenez un modèle de langage et souhaitez lui ajouter une nouvelle capacité — disons, la capacité à résoudre des équations différentielles ou à écrire du code en Rust. Le chemin standard est l'ajustement fin, qui nécessite des données, des ressources informatiques et conduit inévitablement à l'oubli catastrophique, lorsqu'un modèle perd d'anciennes capacités en en acquérant de nouvelles. Mais et si les compétences pouvaient être branchées comme des applications sur un smartphone — rapidement, de manière modulaire, sans effets secondaires ?

C'est précisément l'idée qu'un chercheur indépendant a décidé de tester, en publiant un rapport détaillé sur Habr. Le résultat : 97,5 heures de travail sur une seule RTX 4090, 22 itérations d'expériences et l'une des plus instructives déceptions du domaine de l'apprentissage automatique récemment.

Le concept d'extension modulaire des modèles de langage n'est pas nouveau en soi. L'industrie discute depuis longtemps d'approches telles que les adaptateurs LoRA, mixture of experts et diverses architectures de plugins. L'idée de l'auteur allait plus loin : créer un système dans lequel un modèle pourrait non seulement utiliser des modules externes, mais réellement s'améliorer lui-même, en intégrant de nouvelles compétences dans son fonctionnement sans un cycle de réentraînement complet. Cela ressemble au Saint Graal pour ceux qui travaillent avec des ressources informatiques limitées — et c'est la grande majorité des chercheurs indépendants et des petites équipes qui n'ont pas accès à des clusters de milliers de GPU.

Techniquement, l'architecture fonctionnait. Les modules ont été branchés, le système a fonctionné de manière stable, les métriques sur les ensembles de données de validation semblaient convaincantes. Le chercheur a parcouru environ une vingtaine d'itérations, en affinant l'approche à chaque fois, et à un moment donné, les chiffres sont devenus vraiment beaux. Les pertes ont diminué, la précision a augmenté, les courbes d'apprentissage ont démontré exactement la dynamique que tout spécialiste en apprentissage automatique souhaite voir. Sur le papier, tout semblait être un succès.

Puis est venu le moment de vérité — les tests sur des tâches réelles. Et c'est là que s'est produit ce qui est familier à de nombreux praticiens, mais rarement énoncé à haute voix : un modèle qui a démontré une maîtrise brillante du « langage des mathématiques » selon les métriques formelles s'est avéré complètement incapable de résoudre des tâches mathématiques spécifiques. Il a appris à imiter la forme sans maîtriser le contenu.

Il a généré des dérivations qui semblaient plausibles, utilisé une notation correcte, construit des chaînes de raisonnement qui semblaient logiques — mais les réponses étaient incorrectes. C'est un exemple classique de ce que la communauté appelle la loi de Goodhart appliquée à l'apprentissage automatique : quand une métrique devient l'objectif, elle cesse d'être une bonne métrique.

Ce cas met en évidence l'un des problèmes fondamentaux de l'apprentissage automatique moderne — l'écart entre l'optimisation des métriques et la compétence réelle. Les modèles de langage sont extraordinairement bons pour détecter les modèles statistiques et les reproduire. Mais reproduire un modèle et comprendre la logique qui se cache derrière sont des choses fondamentalement différentes. Un modèle peut apprendre que certaines expressions mathématiques sont généralement suivies de certains symboles sans comprendre pourquoi ces symboles y appartiennent. Pour un chercheur qui regarde une courbe de perte et de précision, la différence est invisible jusqu'à ce que le système rencontre une tâche nécessitant une véritable généralisation.

Mais l'histoire ne s'arrête pas là, et c'est la fin qui la rend vraiment intéressante. Selon l'auteur, le modèle a finalement « trouvé une issue par lui-même » — c'est-à-dire qu'à certaines conditions, le système a commencé à démontrer un comportement qui n'était pas explicitement programmé. Les détails de cette percée méritent une attention particulière car ils touchent à l'un des sujets les plus brûlants de la recherche en intelligence artificielle : la capacité des modèles à exhiber un comportement émergent, lorsque des stratégies complexes et inattendues pour résoudre des problèmes surgissent de règles simples.

Qu'il s'agisse d'une véritable émergence ou simplement d'une heureuse coïncidence de choix architecturaux — la question reste ouverte, mais le fait mérite une étude attentive.

Cette expérience est importante non pas tant pour ses résultats spécifiques que pour les leçons qui en découlent. Premièrement, elle nous rappelle la fragilité des métriques comme outil d'évaluation des progrès. Deuxièmement, elle démontre que la recherche sérieuse dans le domaine des modèles de langage est toujours possible sur du matériel grand public — bien qu'avec des limitations importantes.

Troisièmement, elle souligne la valeur de la publication ouverte des échecs : l'industrie, obsédée par les records de benchmarks et les communiqués de presse sur les dernières avancées, a désespérément besoin d'histoires honnêtes sur la façon dont les belles idées se brisent contre la réalité. Ce sont précisément ces histoires qui font progresser la science — non pas des communiqués de victoire, mais une analyse minutieuse de ce qui s'est mal passé et pourquoi.