Satya Nadella appelle à considérer les modèles d'IA comme compromis et propose quatre mesures

Satya Nadella, PDG de Microsoft, a proposé de considérer tous les modèles d'IA comme potentiellement compromis et a présenté un ensemble de mesures de protection. Son intervention réévalue l'approche de la sécurité à un moment où les systèmes d'intelligence avancés s'infiltrent de plus en plus profondément dans les secteurs critiques de l'économie et des infrastructures.

Le vrai problème : des boîtes noires

Nadella pointe un problème fondamental : les modèles d'IA sont perçus comme un « ensemble de boîtes noires imbriquées », dont on se contente d'accepter ou de rejeter les décisions. Nous ne voyons pas la logique du modèle et ne contrôlons pas ses actions. Sa solution : un système plus transparent, où les modèles seraient isolés, surveillés, et laisseraient des « traces infalsifiables et compréhensibles par l'homme ».

Quatre piliers de sécurité

1. Présumer la compromission dès le départ. Nadella appelle à partir du principe que n'importe quel modèle peut être piraté. Il faut le maintenir dans un environnement isolé dès son lancement. Le concept clé : un « frein d'urgence » — un utilisateur autorisé doit toujours pouvoir mettre en pause ou désactiver le modèle, y compris pendant l'exécution d'une tâche spécifique.

2. Des audits indépendants. Les modèles doivent faire l'objet de contrôles réguliers menés par des tiers n'ayant aucun intérêt dans leur succès commercial. Cela permet de révéler des vulnérabilités cachées et des comportements anormaux.

3. La divulgation rapide des incidents. Les entreprises doivent signaler immédiatement les problèmes et vulnérabilités détectés, sans dissimulation ni retard.

4. Des données vérifiables. Tous les jeux de données sur lesquels un modèle est entraîné, et qu'il utilise, doivent être transparents et vérifiables de manière indépendante.

Une standardisation à l'échelle de l'industrie

Nadella souligne que des modèles plus avancés nécessiteront des technologies d'isolation plus sophistiquées. Sans normes communes, chaque entreprise développera sa propre approche, créant des failles et des incohérences dans la protection. L'industrie doit s'accorder sur des méthodes et des exigences partagées.

Cette vision s'inscrit dans le débat grandissant sur le contrôle de l'IA, mais Nadella lui-même est critiqué pour sa terminologie : il qualifie l'IA de « superintelligence », un terme que certains observateurs jugent excessivement alarmiste.