Nadella appelle à considérer tous les modèles d'IA comme compromis et avance 4 mesures

Satya Nadella, le patron de Microsoft, a publié sur X un long post dans lequel il propose de partir du principe que n'importe quel modèle d'IA avancé peut être compromis, et de bâtir la défense en conséquence. Il cite quatre mesures de base : la divulgation rapide des incidents, l'audit indépendant, des données vérifiables et l'isolation des modèles (containment). Le résultat attendu est un système qui laisse des « tamper-proof human readable evidence », c'est-à-dire des enregistrements infalsifiables et compréhensibles par un humain de ce que le modèle a fait et pourquoi.

La fin de l'ère des « boîtes noires »

La thèse centrale du post : on ne peut plus considérer l'IA comme un « ensemble de boîtes noires imbriquées » dont on se contente d'accepter ou de rejeter les conseils et les actions. Ce schéma fonctionnait tant que le modèle rédigeait des e-mails et résumait des documents. Il ne tient plus face à des agents qui accèdent aux systèmes avec les droits d'un utilisateur. Impossible de vérifier un résultat si l'on ignore comment il a été obtenu. Et il est encore moins question de faire confiance à un modèle dont les poids, les données ou les instructions ont pu être altérés.

La formule « considérer les modèles comme compromis » transpose à l'IA le principe de sécurité bien connu du zero trust. La défense se construit comme si la compromission avait déjà eu lieu. Tout ce que fait le modèle doit donc être limité, observé et consigné.

Les quatre mesures du post

D'après le compte rendu de The Verge, la plupart des recommandations de Nadella recoupent ce que d'autres acteurs du secteur ont déjà avancé :

• Divulgation rapide des incidents. Les fournisseurs signalent les défaillances et les piratages de modèles dans des délais clairs, et non à leur discrétion.
• Audits indépendants. La vérification est menée par une partie sans lien avec le développeur du modèle.
• Données vérifiables. L'origine des données d'entraînement et des données de production peut être prouvée.
• Containment. Le modèle fonctionne dans un environnement restreint, et ses actions sont observables et laissent une trace infalsifiable.

C'est sur ce dernier point, comme le note The Verge, que la position de Nadella se distingue apparemment du reste du secteur. L'extrait de la source s'interrompt à cet endroit : nous ne détaillons donc pas ce point et ne lui prêtons rien de plus. L'analyse complète est disponible chez la source d'origine.

Pourquoi ces mots pèsent d'autant plus venant de Microsoft

Microsoft vend des agents d'IA à ses clients entreprises, exploite l'infrastructure cloud sur laquelle tournent les modèles et compte parmi les plus grands acteurs du secteur. Quand un tel CEO déclare publiquement « partez du principe que le modèle est compromis », il fixe de fait le niveau d'attente des clients et des régulateurs. Il place aussi dans une position inconfortable les concurrents qui ne sont pas prêts à divulguer leurs incidents ni à ouvrir leurs portes aux auditeurs.

Une question centrale reste ouverte : comment sera concrètement conçu l'enregistrement « lisible par un humain » ? Un journal de centaines de milliers d'étapes d'un agent, que personne ne lit, n'est pas une preuve. Pour l'instant, il y a ici plus de principes que de standards.

Ce que les équipes peuvent faire dès maintenant

Il est inutile d'attendre des standards sectoriels, et des mesures de base sont accessibles dès aujourd'hui. Ce sont nos conclusions pratiques tirées de la logique du post, et non des citations de Nadella.

• Exécutez les agents dans un bac à sable, avec des droits minimaux et des clés d'accès dédiées.
• Écrivez le journal de chaque action du modèle dans un stockage que le modèle lui-même ne peut pas modifier.
• Ajoutez aux contrats avec les fournisseurs d'IA des délais de notification des incidents et un droit d'audit.
• Documentez l'origine des données sur lesquelles vous affinez des modèles ou construisez une recherche dans vos documents.
• Pour les opérations aux conséquences irréversibles (paiements, suppressions, production), conservez une validation humaine.

Si un modèle est jugé non fiable par défaut, la valeur se déplace de son « intelligence » vers la qualité de l'outillage qui l'entoure. Celui qui construira cet outillage avant les autres prendra l'avantage dans les ventes aux entreprises.