Pourquoi le réentraînement itératif plafonne : l'enquête LANN-4

Ce n'est pas l'annonce d'une architecture achevée, mais une étude intermédiaire avec un compte-rendu honnête de ce qui a fonctionné et de ce qui n'a pas fonctionné. L'auteur demande une critique précise. Toutes les règles et tous les jeux de problèmes ont été fixés à l'avance avec des empreintes — impossible de truquer le résultat ; les résultats ont été recalculés indépendamment par un autre code, écrit par une personne différente de celle qui a mené l'expérience. C'est une protection contre l'auto-illusion.

LANN-4 est un réseau de neurones qui apprend toute sa vie avec un petit noyau fixe et une mémoire externalisée, plutôt que de gonfler à chaque mise à jour. C'est une réponse à la tendance de l'industrie : la voie standard consiste à rendre les modèles toujours plus grands. Mais l'auteur s'intéresse à autre chose : combien d'utilité peut-on extraire avec une taille strictement limitée, pour que chaque tâche similaire suivante coûte moins cher ?

Principes de travail : les sept piliers du développement

Le développement est guidé par sept principes de travail — pas une description du dispositif, mais des repères :

• Le système se souvient du passé entre les tâches, il ne repart pas chaque fois d'une page blanche.
• Chaque tâche consomme exactement l'effort qu'elle vaut, pas plus.
• Les connaissances et l'expérience résident dans une mémoire séparée, externe, et ne sont pas fondues dans les poids du modèle.
• Il apprend du nouveau sans oublier l'ancien.
• Réponse, indice et fait vérifié sont trois choses différentes ; un honnête « je ne sais pas » vaut mieux qu'une belle invention.
• Toute auto-amélioration est d'abord vérifiée en bac à sable et par un juge externe ; le modèle ne se corrige pas lui-même.
• Tout ce qui touche à la sécurité et aux autorisations est externalisé et ne dépend pas de l'obéissance du modèle.

Méthodologie : quatre sessions, trois modes

On a pris un même examen de 200 problèmes, identique à chaque étape, et fait passer le système par quatre sessions de réentraînement. Trois modes de fonctionnement ont été comparés :

• Accumulation (on cumule) — le modèle est réentraîné, chaque session suivante se superpose à la précédente.
• À zéro — chaque session repart d'un modèle vierge, sans accumulation.
• Sans apprentissage — on repasse simplement l'examen (contrôle du hasard).

L'essentiel mesuré : la part de bonnes réponses progresse-t-elle de session en session ?

Résultats : un bond puis l'immobilité

La part de bonnes réponses en mode accumulation : 53% → 59% → 54-57% → 54-57%. La première session a produit un bond d'environ cinq points de pourcentage. Les sessions 2, 3 et 4 n'ont rien ajouté. Le mode « à zéro » s'est comporté de manière identique — l'ajustement accumulé n'a procuré aucun avantage. Le mode contrôle a légèrement baissé, comme il se doit pour du bruit. Les anciens problèmes n'ont pas été moins bien résolus. Le recalcul indépendant a parfaitement coïncidé avec le premier — les chiffres n'ont pas bougé.

Une seule session de réentraînement sur des solutions vérifiées ajoute bien un gain, et ce gain se maintient sur les quatre sessions. Mais d'où vient-il ? Deux explications honnêtes, qui orientent le projet dans des directions différentes : soit le modèle a assimilé le contenu des solutions correctes, soit il s'est simplement adapté au format du code.

La bifurcation et le test placebo

Pour trancher, on a appliqué un test placebo : on a comparé le réentraînement sur des paires correctes « problème + solution vérifiée » avec des paires sciemment mélangées, où la solution ne correspond pas au problème (on a vérifié que les paires mélangées ne résolvaient effectivement pas les problèmes). Tout le reste a été fait à l'identique : même nombre d'étapes, mêmes exemples, mêmes conditions, même examen.

Une faille dans le test : il distingue l'apprentissage du code en général de l'apprentissage du contenu correct, mais seulement à l'intérieur d'un même type de problème. Il ne détecte pas le surajustement sur du code du même type. Pour combler aussi cette faille, il faut une expérience séparée sur d'autres types de problèmes — encore une journée de calcul GPU.

Trois questions pour la critique

L'auteur demande une critique sérieuse sur ces points :

• Un placebo à coûts égaux est-il suffisant pour qualifier honnêtement le gain de la première session de véritable apprentissage ? Qu'est-ce qui manque dans la liste des conditions ?
• Comment combler la faille du surajustement à un seul type de problème, sans doubler le travail de calcul GPU ?
• D'autres ont-ils observé le même schéma — un bond à la première session, puis un plafond — lors de réentraînements répétés d'un petit modèle ?

Un résultat négatif n'est pas un échec. Il réduit honnêtement le champ des possibles, en montrant où la capacité d'accumulation ne mène pas. Ce résultat fait avancer le projet.