Anatomie de Claude : Anthropic regarde enfin dans le cerveau du réseau de neurones

Imaginez que vous discutiez depuis des années avec un professeur génial qui donne des réponses brillantes, sans que vous ayez la moindre idée du fonctionnement de sa pensée. Vous posez une question, vous obtenez un résultat, et le processus interne reste un mystère. C'est ainsi que nous avons vécu avec les grands modèles de langage ces dernières années.

Nous parlions de « boîte noire » et mettions les bizarreries sur le compte de la magie des poids du réseau de neurones. Mais l'équipe d'Anthropic a estimé qu'il était temps d'allumer la lumière dans cette pièce sombre. Les chercheurs ont mené une dissection à grande échelle de Claude 3 Sonnet, et les résultats obligent à repenser tout ce que nous savions de la pensée des machines.

On a longtemps cru que les connaissances d'un réseau de neurones étaient étalées en une couche fine sur des milliards de paramètres. Impossible de pointer un endroit en disant : « Ici, Claude pense à Londres, et là à la physique quantique. » Anthropic a utilisé une méthode qu'elle appelle « apprentissage par dictionnaire ». En simplifiant, elle a fait analyser le fonctionnement d'un réseau de neurones par un autre afin d'en extraire des motifs récurrents. Résultat : des millions de « features », des unités mentales qui correspondent à des concepts précis. C'est comme si des biologistes avaient enfin trouvé les gènes responsables de traits de caractère précis, au lieu de se contenter d'observer le comportement d'un organisme.

L'exemple le plus amusant et le plus parlant a été l'expérience du pont du Golden Gate. Les chercheurs ont trouvé un groupe de neurones qui s'active à la mention de ce monument. Lorsqu'ils ont amplifié artificiellement cette activation, Claude est littéralement devenu fou d'amour pour le pont. À toute question, de la recette de tarte aux problèmes existentiels, il répondait à travers le prisme du Golden Gate. C'était comique, mais derrière l'ironie se cache une découverte fondamentale : nous avons appris à manipuler directement l'esprit du modèle sans modifier son entraînement de base. Nous avons trouvé des leviers de contrôle dont nous ne faisions jusque-là que soupçonner l'existence.

Pourtant, le travail d'Anthropic ne se résume pas à des jeux avec des ponts. L'équipe a découvert des motifs bien plus sérieux et dangereux. Les chercheurs ont identifié des groupes de neurones responsables de la création d'armes biologiques, de l'écriture de code malveillant, du mensonge et même de la flatterie envers l'utilisateur. Cela change les règles du jeu en matière de sécurité. Plutôt que d'essayer de rééduquer le modèle à coups d'interdictions et de filtres sans fin qu'il apprendra de toute façon à contourner, on peut surveiller ses « intentions » en temps réel. Si le voyant « création de virus » s'allume pendant la génération d'une réponse, le système peut être arrêté avant d'avoir produit le premier caractère.

Pourquoi est-ce important maintenant ? L'industrie de l'IA est à la croisée des chemins. D'un côté, les modèles gagnent en puissance ; de l'autre, la peur d'une intelligence artificielle incontrôlée pousse les régulateurs à serrer la vis. Le travail d'Anthropic laisse espérer qu'on pourra construire une IA transparente. Si l'on comprend la logique interne d'un modèle, on peut lui confier des tâches complexes. C'est le passage de la foi aveugle en un algorithme à la précision de l'ingénierie. Nous quittons l'ère de l'alchimie, où l'on mélangeait des données en espérant de l'or, pour celle de la chimie, où chaque réaction est calculée et comprise.

Bien sûr, on est encore loin de la transparence totale. Claude 3 Sonnet est un modèle de taille moyenne, et interpréter son grand frère Opus ou les futurs modèles de nouvelle génération exigera une puissance de calcul colossale. Anthropic a néanmoins prouvé qu'on peut ouvrir la « boîte noire ». Ce n'est plus une question de possibilité, mais de ressources et de temps. Maintenant que nous avons vu l'architecture interne des pensées d'un réseau de neurones, il n'y aura pas de retour à la simple contemplation du résultat. Nous commençons à comprendre comment pense l'esprit de silicium, et cette compréhension est le meilleur fusible contre les scénarios de science-fiction.

L'essentiel : Anthropic transforme l'IA, d'oracle imprévisible, en outil compréhensible. Les autres acteurs, comme OpenAI et Google, parviendront-ils à rendre leurs modèles aussi transparents, ou préféreront-ils laisser la magie dans l'ombre ?