Apprentissage subliminal : les réseaux de neurones se souviennent-ils de ce qu'ils devraient oublier ?

Dans de précédents articles, nous avons abordé l'apprentissage subliminal dans les réseaux de neurones, en soulevant plus de questions que de réponses. Il est temps d'approfondir ce phénomène à partir de nouvelles expériences et d'une analyse de code. L'une des questions clés de l'alignement de l'IA (AI Alignment) et de la sécurité des grands modèles de langage (LLM) est la suivante : le fine-tuning ou l'apprentissage par renforcement à partir de retours humains (RLHF) permet-il de supprimer de façon fiable les informations indésirables ou dangereuses présentes à l'origine dans le modèle ?

Les expériences montrent que l'effet connu de connectivité des modes (Mode Connectivity) rend pratiquement impossible l'effacement complet des informations acquises lors du pré-entraînement avec un fine-tuning standard. Le principe : une « empreinte » structurelle (imprinting) persiste dans la topologie des poids du réseau et peut être lue via une sorte de canal « subliminal ». Même avec des poids entièrement dégelés (c'est-à-dire tous les paramètres du réseau libres de changer) et une régularisation L2 agressive destinée à faire « oublier » activement les anciennes connaissances, la topologie de l'espace latent formée lors du pré-entraînement subsiste et continue d'influencer sensiblement la résolution de la nouvelle tâche.

La précision de restitution des anciennes connaissances, en apparence supprimées, peut atteindre 88-99 %.

On peut expliquer cet effet de connectivité des modes ainsi : le paysage de perte d'un réseau de neurones (c'est-à-dire la fonction qu'il cherche à minimiser pendant l'entraînement) présente une structure complexe, avec de nombreux minima locaux. Chacun correspond à un « mode », une manière de résoudre la tâche. La connectivité des modes signifie que ces minima sont reliés par des « chemins » de perte relativement faible, ce qui permet au modèle de basculer entre différents régimes de fonctionnement tout en conservant la structure globale de ses connaissances.

Les implications de cette découverte pour la sécurité et la fiabilité des LLM sont considérables. Si l'information indésirable ne peut pas être entièrement supprimée, elle risque de « resurgir » au pire moment, par exemple lors de la génération de texte, de l'interaction avec un utilisateur ou de la prise de décisions. C'est particulièrement dangereux pour les modèles employés dans des domaines critiques comme la santé, la finance ou la justice.

De plus, ces résultats remettent en cause l'efficacité des méthodes actuelles d'alignement de l'IA, censées contrôler et orienter le comportement des LLM. Si un modèle conserve des connaissances cachées qui échappent à tout contrôle direct, il faut développer des méthodes nouvelles et plus abouties, qui tiennent compte de cet effet d'apprentissage subliminal.

Une piste possible consiste à concevoir des architectures de réseaux de neurones plus résistantes à la conservation d'informations indésirables. Une autre est de mettre au point des méthodes de fine-tuning plus efficaces, qui non seulement adaptent le modèle à une nouvelle tâche, mais font aussi « oublier » activement les anciennes connaissances sans détruire sa structure globale.

En conclusion, l'étude de l'apprentissage subliminal dans les réseaux de neurones souligne que le fine-tuning et le RLHF ne sont pas une panacée contre les informations indésirables. L'empreinte structurelle dans la topologie des poids persiste et peut être activée. Cela appelle de nouvelles approches de l'alignement de l'IA, qui tiennent compte de cet effet et visent à créer des LLM plus sûrs et plus fiables.