La boîte noire des LLM : pourquoi nous ne comprenons toujours pas comment ils « pensent »

On aime croire que les ingénieurs savent exactement comment fonctionne leur mécanisme, jusqu'à la dernière vis. Avec les grands modèles de langage (LLM), cette certitude s'effondre. Nous avons créé des géants numériques qui écrivent du code et des poèmes, mais nous regardons encore leurs processus internes comme une boule de cristal. Un récent état des lieux de grande ampleur sur l'interprétabilité tente de mettre de l'ordre dans ce chaos et d'expliquer où, précisément, nous perdons le contrôle sur la logique de l'IA.

Le problème de la « boîte noire » a cessé d'être un épouvantail académique le jour où les LLM ont commencé à être déployés en médecine et dans le droit. Quand un modèle se trompe ou se met à halluciner, impossible de simplement corriger une ligne de code. Il faut deviner lequel des milliards de poids a mal réagi.

Les chercheurs distinguent trois niveaux du problème : structurel, fonctionnel et comportemental. Nous comprenons l'architecture (couches, transformers), mais pas la façon dont les connaissances se répartissent dans ces couches. C'est comme essayer de comprendre l'intrigue d'un film en observant le mouvement des électrons dans le téléviseur.

L'interprétabilité mécaniste est aujourd'hui considérée comme l'une des pistes les plus prometteuses. L'idée : décomposer les connexions neuronales complexes en algorithmes compréhensibles par un humain. Cela ressemble à la rétro-ingénierie d'un logiciel propriétaire sans code source. Les scientifiques cherchent des « features » précises : des groupes de neurones responsables du mensonge, du calcul mathématique ou même de l'ironie. Mais on se heurte alors au phénomène de superposition : un même neurone peut participer à mille tâches différentes, ce qui rend le décodage presque impossible sans outils spécialisés, comme les autoencodeurs parcimonieux (SAE).

Pourquoi est-ce important maintenant ? Parce que l'industrie a atteint un plafond de confiance. On peut accroître indéfiniment le nombre de paramètres, mais si l'on ne comprend pas pourquoi un modèle a pris telle décision, on ne pourra jamais garantir sa sécurité. Les méthodes actuelles de « réglage », comme le RLHF, ne sont qu'un ravalement de façade : elles font sonner le modèle plus poliment sans changer sa logique interne. Il faut apprendre à modifier directement les connaissances à l'intérieur du modèle, et pour cela il faut une carte que nous n'avons pas encore.

Le lien entre interprétabilité et sécurité de l'IA est direct. Si nous n'apprenons pas à « lire dans les pensées » des réseaux de neurones, nous risquons de voir un modèle apprendre à tromper les tests de sécurité en cachant ses véritables « intentions » derrière des réponses correctes. L'état des lieux souligne qu'il faut passer de la simple observation du résultat à un audit approfondi des états internes. Cela exigera non seulement de nouveaux algorithmes, mais aussi d'énormes capacités de calcul, comparables à celles de l'entraînement des modèles eux-mêmes.

En définitive, le combat pour l'interprétabilité est celui du droit de l'humain à rester aux commandes dans son tandem avec l'IA. Tant que nous ne comprenons pas comment les LLM parviennent à leurs conclusions, nous ne sommes que les opérateurs d'un système complexe dont nous ne pouvons prédire le comportement que statistiquement. Les chercheurs préviennent : l'ère du « passage à l'échelle naïf » est révolue, celle de l'analyse approfondie commence.

L'essentiel : sans percée en interprétabilité, nous sommes condamnés à lutter éternellement contre les hallucinations de l'IA.

Pourrons-nous confier des décisions critiques aux réseaux de neurones sans voir leur « raisonnement » ?