Claude a corrigé 165 poids d’un modèle médical en une heure et fait passer le rappel de 76 à 90 %

Il y a deux semaines, le MIT a publié l’étude Sparks of Weight-Space Programming : un LLM reçoit un fichier contenant les poids d’un autre modèle, l’analyse et le modifie sans entraînement. Le résultat le plus spectaculaire : sur des problèmes de mathématiques scolaires, un petit modèle Qwen est passé de 7,9 % à 48,1 % de réponses correctes. Une spécialiste produit en R&D dans la MedTech a décidé de tester l’idée sur un modèle médical. L’expérience a fonctionné, mais avec des réserves plus importantes que le succès lui-même.

En quoi consistait l’expérience

L’expérience s’est appuyée sur OpenSpliceAI, la version ouverte de SpliceAI. Ce réseau examine une séquence d’ADN et prédit les endroits où le gène est « découpé » lors de l’assemblage de la protéine. Pour évaluer une mutation, le modèle est exécuté deux fois, sur la séquence d’origine puis sur la séquence modifiée, avant de comparer les réponses. Ce score est utilisé dans les recommandations de ClinGen ; les conclusions de véritables laboratoires de génétique en dépendent donc. Le modèle est petit, avec 699 000 paramètres, et fonctionne sur un ordinateur portable sans GPU. Contrairement à l’original, sa licence est ouverte.

Claude Opus 5.5 a reçu la mission d’améliorer la distinction entre les mutations dangereuses et bénignes issues de ClinVar. Il lui était interdit d’entraîner le modèle ou de tester automatiquement différentes valeurs. L’évaluation a porté sur des chromosomes que Claude n’avait pas vus, tout en vérifiant que les performances principales du modèle ne se dégradaient pas.

Ce que Claude a découvert

Le plus intéressant n’est pas la modification, mais le diagnostic. Le modèle identifie les véritables sites d’épissage avec une probabilité d’environ 99 %. Une mutation dangereuse réduit nettement la confiance à l’intérieur du réseau, mais cet effet devient presque invisible en sortie : à de telles valeurs, la courbe de probabilité est plate. Le modèle « sait » que le site est endommagé, mais le score final ne le montre pas.

Le remède s’est révélé simple. Claude a multiplié les logits de la dernière couche par 0,35, ce qui revient à augmenter la température du softmax, puis a doublé le signal provenant de la région d’ADN proche du site d’épissage. Deux modifications au total, portant sur 165 poids. Sur le test caché, l’AUPRC est passée de 0,939 à 0,975, tandis que la proportion de mutations dangereuses détectées, à nombre égal de faux positifs, est passée de 76 % à 90 %.

Le piège : le gradient ne fait pas moins bien

L’autrice a ensuite testé honnêtement les solutions de remplacement. Le seul changement de température expliquait 86 % du gain, et une simple recherche exhaustive aurait trouvé la même valeur. Un fine-tuning classique des mêmes poids a obtenu une AUPRC de 0,970–0,971, soit un résultat dans la marge d’erreur de celui de Claude. Un ensemble de cinq copies a obtenu 0,953 : Claude l’a donc emporté sur ce point. Le même phénomène apparaissait dans les travaux du MIT : lorsque le mode de raisonnement du modèle Qwen d’origine est désactivé, celui-ci atteint à lui seul environ 46 %. La modification supprime les boucles répétitives ; elle ne lui apprend pas les mathématiques.

Égalité sur la métrique. Claude l’emporte sur la compréhension : le gradient fournit de nouveaux poids sans expliquer pourquoi, tandis que le LLM a expliqué en une heure ce qui dégradait le score et où intervenir pour le corriger.

Limites

• Une seule expérience, un seul modèle et une seule exécution de Claude.
• L’échelle des probabilités s’est déplacée et les seuils cliniques ne fonctionnent plus : avec un seuil de 0,8, le modèle détecte 15 % des mutations dangereuses au lieu de 49 %. Un recalibrage est nécessaire.
• L’astuce de la température est spécifique à ce cas : ici, le score correspond à la différence entre deux probabilités ; elle n’apporterait rien à un classificateur classique.
• Une partie des étiquettes de ClinVar reposait elle-même sur SpliceAI.
• Le modèle n’a acquis aucune nouvelle compétence : les mutations qu’il ne reconnaissait pas continuent de lui échapper.

Que faire en pratique

Il ne faut pas s’attendre à ce qu’un LLM « recâble » vos poids mieux qu’un gradient. Il peut cependant servir d’outil de débogage : demandez-lui d’analyser le réseau, de déterminer où le signal se perd et de proposer une hypothèse. Vérifiez ensuite cette hypothèse au moyen d’une recherche exhaustive peu coûteuse et d’un fine-tuning. Si un simple réglage produit 86 % de l’effet, c’est peut-être tout ce dont vous avez besoin ; la valeur de l’agent tient alors à son explication du pourquoi. Le code et les tableaux sont publiés sur GitHub, et l’expérience peut être reproduite sur CPU.