L'auteur de LANN-4 le démontre : le fine-tuning répété d'un petit LLM se heurte à un plafond

Si l'on fine-tune plusieurs fois de suite le même petit modèle de langage sur des exemples, il ne s'améliore pas d'un cycle à l'autre. Le premier cycle apporte un gain notable, puis la progression s'arrête. C'est la conclusion de l'auteur d'une série de notes publiées sur Habr, dont les expériences tournent sur un modèle qui tient dans un GPU grand public ordinaire. La prochaine expérience consommera environ une journée de GPU, et l'auteur demande aux lecteurs de chercher les points faibles de son protocole de vérification avant de la lancer.

Pourquoi cette série d'expériences

Dans son premier article, l'auteur se demandait si un petit modèle pouvait devenir plus performant avec le temps sans augmenter son nombre de paramètres. Plutôt que de gonfler les poids, il misait sur trois leviers : la mémoire, un fine-tuning soigné et la vérification des réponses. Dans le second texte, il expliquait où cela mène. Ces expériences sont des étapes vers l'architecture LANN-4, un réseau de neurones qui apprend tout au long de sa « vie ». Il doit comprendre un petit « cerveau » figé et une mémoire déportée à l'extérieur.

L'auteur précise d'emblée que LANN-4 elle-même n'existe pas encore. L'architecture n'est ni choisie ni construite, et les modèles utilisés dans les expériences ne sont que des outils de test. La publication ne présente ni produit fini ni benchmarks du nouveau système. C'est un compte rendu de recherche, et son résultat est négatif.

Ce qui n'a pas fonctionné

L'équipe a testé une hypothèse simple : le fine-tuning répété d'un même modèle sur des exemples produit-il un effet cumulatif ? Ce n'est pas le cas. Voici ce qui ressort du texte :

• taille du modèle : il tient dans un GPU grand public ordinaire ;
• premier cycle de fine-tuning : gain de qualité notable ;
• cycles suivants : la progression s'arrête, le plafond est atteint rapidement ;
• conclusion de l'auteur : un simple fine-tuning répété ne transforme pas un petit modèle en système qui s'améliore tout au long de sa vie ;
• coût de la vérification décisive : environ une journée de GPU.

L'annonce n'explique pas les causes de cet arrêt, qui sont vraisemblablement détaillées dans le texte principal. La littérature sur l'apprentissage continu cite généralement l'oubli de ce qui a été appris, la saturation sur des données homogènes et la limite de capacité du modèle lui-même. Mais il s'agit d'un contexte général, pas d'affirmations de l'auteur. L'annonce ne permet pas de savoir laquelle de ces explications s'applique ici.

Pourquoi ce résultat est utile

Les résultats négatifs sont rarement publiés dans les expériences ouvertes sur l'IA, alors qu'ils font gagner du temps aux autres. Celui-ci touche en outre à une question pratique. L'idée d'un « petit cerveau fixe plus une mémoire externe » est séduisante : elle promet un apprentissage sans réentraîner tous les poids, sur du matériel grand public. Si le modèle cesse d'assimiler du nouveau après la première itération, toute la charge repose sur la mémoire externe et sur le mécanisme de vérification des réponses. C'est précisément là que l'auteur déplace son attention.

Le format mérite aussi d'être signalé : l'auteur ne lance pas directement l'essai décisif, il publie d'abord sa conception pour la soumettre à la critique. Une journée sur un seul GPU n'est pas très coûteuse, mais sur du matériel personnel, c'est une journée sans autres expériences. Une erreur dans le protocole coûtera plus cher que le calcul lui-même.

Que retenir pour les praticiens

Si vous faites du fine-tuning de petits modèles pour vos propres tâches, la note permet de retenir trois choses. Ne comptez pas sur des cycles répétés sur les mêmes données pour produire des gains comparables : mesurez la qualité après chaque cycle sur un jeu de données mis de côté, et arrêtez-vous quand la courbe atteint un plateau. Gardez la vérification des réponses séparée des données d'entraînement, faute de quoi vous risquez de prendre un plafond pour un progrès, ou l'inverse. Enfin, si l'apprentissage continu vous intéresse, consultez l'article d'origine sur Habr et essayez de trouver les failles du protocole de l'expérience décisive : l'auteur le demande explicitement avant le lancement.