Un LLM fait passer le score F1 d’un classifieur de 45 % à 82 % en modifiant ses poids, sans entraînement

Imaginez un classifieur qui confond les chats et les chiens, sans données ni temps disponibles pour un nouvel entraînement. En temps normal, un ingénieur ML chercherait une erreur dans le jeu de données, modifierait l’architecture ou lancerait un nouveau cycle d’entraînement. Dans l’expérience décrite, ce travail a été confié à un grand modèle de langage : il a obtenu l’accès aux poids d’un petit réseau neuronal, a été autorisé à effectuer un nombre limité d’exécutions de contrôle et a reçu pour mission d’améliorer directement le résultat.

Le résultat est spectaculaire : le score F1 du classifieur est passé de 45 % à 74 % après l’intervention d’un premier LLM, puis à 82 % après les modifications plus profondes d’un second. Mais parler d’un « modèle qui lit le cerveau d’un autre modèle » est plutôt trompeur. Aucun langage universel des poids n’est encore apparu. Le LLM s’est appuyé sur des architectures connues, des méthodes d’interprétabilité familières et le retour fourni par les métriques.

Comment cela a fonctionné

Le modèle cobaye était MobileNetV3-Small, chargé de répartir les images entre trois classes : chats, chiens et autres animaux. Après chaque modification, le LLM pouvait lancer une inférence et vérifier si la métrique avait progressé. Il disposait au total de dix tentatives de ce type.

La première stratégie était assez simple : modifier la dernière couche du classifieur, où les caractéristiques sont transformées en probabilités de classe. Cela a aidé, mais ne disait presque rien sur la capacité à comprendre le fonctionnement interne du réseau. Lorsque toute modification de la dernière couche a été interdite, le LLM est allé plus loin : il a repéré les canaux qui produisaient des signaux nuisibles et remplacé leurs sorties par des valeurs moyennes. Le score F1 a alors atteint 82 %.

Dans la vie courante, cela ressemble à la réparation d’une télécommande comportant des dizaines de boutons. Le technicien n’a pas besoin de comprendre le fonctionnement de chaque transistor. Il appuie sur les boutons, mesure le résultat et finit par trouver le composant qui dégrade le signal. La différence est que le LLM peut écrire lui-même le scénario de ces vérifications, lire la structure du modèle et choisir la modification suivante.

Là où la magie s’arrête

L’expérience ne prouve pas qu’un LLM comprend un tableau arbitraire de poids comme un langage autonome. Les architectures des modèles populaires, les noms des couches et les méthodes d’interprétation mécaniste sont abondamment décrits dans le code open source et les publications scientifiques. Toutes ces informations ont pu se retrouver dans les données d’entraînement du grand modèle.

Le retour d’information a également joué un rôle essentiel. Lorsqu’un LLM peut modifier plusieurs fois les poids et observer la métrique, le processus commence à ressembler à une optimisation par essais et erreurs. Si le jeu de contrôle est petit ou mal utilisé, l’agent peut ajuster ses modifications à celui-ci. Une amélioration sur un jeu de données indépendant réduit ce risque, mais ne dispense pas de reproduire l’expérience.

Les affirmations selon lesquelles il serait possible d’identifier la fonction d’un modèle à partir de ses seuls poids doivent également être considérées avec prudence. Les dimensions des matrices, du vocabulaire et des entrées révèlent souvent la famille architecturale. Une description détaillée du format des entrées et des sorties dans la consigne peut même indiquer directement la fonction du réseau.

Ce qu’il faut en retenir pour la pratique

La valeur pratique ne réside pas ici dans une « télépathie » entre modèles. Elle tient à l’apparition d’un agent capable d’automatiser le diagnostic et la réparation ciblée de petits réseaux neuronaux. Une telle approche peut être utile pour les modèles edge, les anciens classifieurs et les systèmes dont le jeu de données d’origine a été perdu ou dont le réentraînement coûterait trop cher.

Les développeurs devraient considérer cette technique comme un outil expérimental : conserver les poids d’origine, limiter le nombre d’itérations, séparer le jeu de travail du test final et vérifier la robustesse de chaque modification. Les équipes de sécurité devront traiter les fichiers de poids comme des actifs exécutables : un agent autorisé à les modifier peut non seulement améliorer un modèle, mais aussi supprimer discrètement des restrictions ou y introduire un nouveau comportement.

Le changement majeur est bien réel. Le LLM devient non seulement un générateur de code, mais aussi un opérateur d’outils ML. Une grande distance sépare toutefois encore cet opérateur d’un neurochirurgien autonome.