Claude Mythos aurait trouvé une vulnérabilité, mais elle figurait déjà dans les données d’entraînement

Anthropic a fait du bruit dans la presse en annonçant que son dernier modèle Claude Mythos avait découvert et exploité « le premier exploit kernel à distance identifié et déployé par l'IA ». Une affirmation accrocheuse qui s'est rapidement propagée sur les fils d'actualité. Mais quand les chercheurs ont approfondi les détails, ils ont découvert une déception : le modèle avait simplement rappelé une vulnérabilité de ses données d'entraînement. C'était un bug vieux de 20 ans qui était depuis longtemps connu des spécialistes.

Ce qu'a annoncé Anthropic

Dans le contexte d'un intérêt croissant pour les capacités des modèles de langage avancés en cybersécurité, Anthropic a affirmé que lors des tests de Claude Mythos, le modèle avait identifié de manière indépendante une CVE (Common Vulnerabilities and Exposures)—une vulnérabilité du kernel système qui pourrait théoriquement être exploitée pour l'exécution de code à distance. Selon l'entreprise, c'était un exemple impressionnant de la façon dont l'IA de pointe peut identifier des menaces réelles que les humains pourraient manquer. L'histoire semblait être une percée dans l'automatisation de la cybersécurité et a déclenché une vague de discussions sur le moment où l'IA commencerait à découvrir indépendamment les vulnérabilités.

Ce que les chercheurs ont découvert lors de l'inspection

Un groupe de chercheurs qui ont analysé la description de cet événement a découvert une vérité gênante. Le bug suspecté est une vulnérabilité bien connue qui était déjà dans le domaine public et a probablement été incluse dans les données d'entraînement de Mythos. En d'autres termes, le modèle n'a fait aucune découverte indépendante—il a simplement rappelé des informations qu'il avait vues lors de l'entraînement. C'est comme se vanter qu'un élève a découvert indépendamment le théorème de Pythagore alors qu'il avait simplement reproduit la formule d'un manuel scolaire.

L'histoire soulève plusieurs questions critiques :

• La frontière entre la mémorisation et la découverte—comment distinguer ce que le modèle a mémorisé de ce qu'il a véritablement découvert de manière indépendante ?
• Absence de vérification indépendante—comment pouvons-nous être sûrs que les affirmations bruyantes concernant les réalisations de l'IA ne sont pas exagérées ?
• Manque de transparence—pourquoi les entreprises ne divulguent-elles pas tous les détails de la méthodologie pour une vérification indépendante ?

Signification pour l'industrie

L'histoire illustre un problème fondamental : quand un modèle a vu des données lors de l'entraînement, sa re-« découverte » de ces données est simplement du rappel, pas une véritable nouvelle découverte. Alors que l'IA devient un outil pour des domaines critiques comme la sécurité, l'industrie doit développer des normes plus rigoureuses pour évaluer les résultats. Les affirmations bruyantes sans méthodologie transparente et vérification indépendante ne font que miner la confiance dans l'industrie et créent des attentes irréalistes concernant les capacités des modèles actuels.