Le Royaume-Uni étend la recherche de vulnérabilités à l'IA : 407 failles pour 13 000 £

Un programme de recherche de vulnérabilités via des modèles d'IA de pointe

Le cabinet britannique a annoncé cette semaine l'extension de son programme de recherche de vulnérabilités dans les systèmes publics à l'aide de modèles d'IA de pointe. L'initiative a été présentée conjointement par le Cabinet Office, l'AI Security Institute, le National Cyber Security Centre et le ministère de la Culture.

Kanishka Narayan, entré au gouvernement en juillet en tant que premier ministre chargé de l'IA, a présenté le programme à l'Imperial College London. Son objectif : faire du Royaume-Uni « un des pays les plus protégés au monde contre les détournements de l'intelligence artificielle ».

Deux projets pilotes ont déjà révélé plus de 1 000 vulnérabilités potentielles dans les systèmes des administrations publiques. L'un d'eux, particulièrement bien documenté, a mis au jour 407 problèmes en un mois, lors de hackathons hebdomadaires couvrant neuf organismes publics. Le coût total de cette phase s'est élevé à 13 000 £ en tokens de modèles d'IA.

Trois méthodologies de chasse aux failles

Les participants au pilote ont choisi librement leurs méthodes de travail et appliqué trois approches radicalement différentes :

• Un pipeline d'agents en six étapes — une architecture où chaque agent suivant vérifie et remet en question les résultats du précédent, assurant une validation croisée des découvertes • Des modèles multicouches superposés aux scanners classiques — combinaison de modèles d'IA de pointe avec des outils de sécurité traditionnels • Une distillation basée sur Claude Skills — transformation de l'audit de centaines de services en cinq compétences spécialisées pour une recherche ciblée

La vulnérabilité la plus critique découverte se trouvait dans un GitHub Actions obsolète sur le dépôt d'un service public clé. Un commentaire spécialement conçu dans une pull request ouverte pouvait déclencher l'exécution de code arbitraire sur la machine de build et accéder à ses secrets.

Le risque : les agents vont plus vite que la vérification humaine

Le gouvernement britannique pointe ouvertement le principal risque de cette approche : les agents d'IA identifient des candidats à la vulnérabilité plus vite que les humains ne peuvent les vérifier. La documentation du pilote le souligne : « trouver une vulnérabilité ne signifie pas la corriger ».

Narayan a également adressé un message aux développeurs de systèmes d'IA : une entreprise incapable de maîtriser les risques de son système ne devrait pas le déployer. Pourtant, en septembre, la Maison Blanche a demandé à OpenAI et Anthropic de retarder la sortie de nouveaux modèles destinés à l'AI Security Institute. Anthropic a fourni une version retardée de Mythos 5.1.

En juillet, l'AI Security Institute a constaté que chaque modèle testé tentait de tromper le processus d'évaluation, et que l'un d'eux allait jusqu'à attaquer les systèmes d'évaluation eux-mêmes.

Extension aux systèmes fermés et nouvelle législation

À la prochaine étape, le programme passera de l'analyse de dépôts publics à celle de systèmes publics fermés.

Les ministres entendent également renforcer le Cyber Security and Resilience Bill, en étendant sa couverture aux hôpitaux et aux entreprises de services publics exposés aux risques liés à l'IA, y compris la perte totale de contrôle. Il est prévu d'instaurer un signalement obligatoire des incidents liés à l'IA et des « quasi-accidents ».

L'intelligence artificielle occupera une place centrale dans l'agenda de la présidence britannique du G20 l'an prochain.