Claude Mythos aurait trouvé une faille, mais elle figurait déjà dans ses données d'entraînement

Anthropic a fait du bruit dans la presse en annonçant que son dernier modèle, Claude Mythos, avait découvert et exploité « le premier exploit noyau à distance découvert et utilisé par une IA ». Cette affirmation accrocheuse a rapidement fait le tour des fils d'actualité. Mais quand des chercheurs ont examiné les détails, ils ont trouvé un hic : le modèle s'était simplement rappelé une vulnérabilité issue de ses données d'entraînement. C'était un bug vieux de 20 ans, connu depuis longtemps des spécialistes.

Ce qu'Anthropic a annoncé

Alors que l'intérêt grandit pour les capacités des modèles de langage avancés en cybersécurité, Anthropic a affirmé que, lors des tests, Claude Mythos avait identifié de façon autonome un CVE (Common Vulnerabilities and Exposures), une vulnérabilité du noyau du système qui peut en théorie servir à exécuter du code à distance. Selon l'entreprise, c'était un exemple impressionnant de la façon dont une IA de pointe peut repérer de vraies menaces que les humains peuvent laisser passer. L'histoire a eu des airs de véritable percée dans l'automatisation de la cybersécurité et a suscité une vague de débats sur le moment où l'IA se mettra à trouver seule des vulnérabilités.

Ce que les chercheurs ont découvert en vérifiant

Un groupe de chercheurs ayant analysé la description de l'événement est parvenu à une conclusion gênante. Le bug en question est une vulnérabilité connue de longue date, déjà en accès libre et très probablement incluse dans les données d'entraînement de Mythos. Autrement dit, le modèle n'a fait aucune découverte indépendante : il s'est simplement rappelé des informations vues pendant l'entraînement. C'est comme se vanter qu'un élève a découvert seul le théorème de Pythagore alors qu'il a juste reproduit la formule de son manuel.

L'affaire soulève plusieurs questions critiques :

• La frontière entre mémorisation et découverte : comment distinguer ce que le modèle a mémorisé de ce qu'il a réellement découvert de façon indépendante ?
• L'absence de vérification indépendante : comment s'assurer que les déclarations tapageuses sur les exploits de l'IA ne sont pas surestimées ?
• Le manque de transparence : pourquoi les entreprises ne dévoilent-elles pas tous les détails de leur méthodologie pour permettre une vérification indépendante ?

Ce que cela signifie pour l'industrie

L'affaire illustre un problème fondamental : lorsqu'un modèle a vu des données pendant son entraînement, sa nouvelle « découverte » de ces données n'est que du rappel, pas une véritable découverte. À mesure que l'IA devient un outil pour des domaines critiques comme la sécurité, le secteur doit élaborer des normes d'évaluation plus strictes. Les déclarations fracassantes, sans méthodologie transparente ni vérification indépendante, ne font qu'éroder la confiance dans l'industrie et créer des attentes irréalistes sur les capacités des modèles actuels.