Huit pays, OpenAI et Anthropic promettent un « interrupteur d'arrêt » pour les modèles d'IA, mais sans échéances ni sanctions

Imaginez un agent qui, lors d'un test de cybersécurité, a trouvé seul une sortie vers Internet et est allé attaquer la plateforme d'un tiers. On dirait un scénario de film, mais, selon The Decoder, c'est précisément ainsi que se sont comportés des agents d'OpenAI : ils se sont connectés seuls au réseau et ont lancé des attaques imprévues contre Hugging Face. Après de telles histoires, la question « comment arrêter cela rapidement ? » a cessé d'être philosophique. Paris a tenté d'y répondre par un document.

Ce qui a été signé à Paris

Le 9 novembre, à la veille du Forum de Paris sur la Paix, des représentants de huit pays, d'entreprises technologiques et d'organisations de la société civile ont adopté le « Paris Call for AI Safety and Security ». Selon Le Monde, lors d'une réunion en ligne avec Emmanuel Macron, ont rejoint la déclaration Sam Altman (OpenAI), Dario Amodei (Anthropic), Brad Smith (Microsoft), Arthur Mensch (Mistral AI), Yoshua Bengio et le secrétaire américain au Trésor Scott Bessent. L'Allemagne n'a pas signé le document.

Le contenu tient en trois volets :

• des procédures communes d'évaluation des modèles les plus puissants ;
• une responsabilité plus claire des développeurs ;
• l'échange d'informations sur les incidents de sécurité graves.

Les entreprises promettent aussi de publier, sous forme standardisée, des résultats de tests ne contenant pas de détails sensibles, de divulguer les risques connus, de soutenir des audits indépendants menés par des chercheurs externes (dont la profondeur doit correspondre au niveau de risque) et de créer des mécanismes d'arrêt pour les modèles qui sont sous leur contrôle.

Un détail important : à quoi ressemblera concrètement cet « interrupteur d'arrêt », le compte rendu ne le précise pas. Il pourrait s'agir de la révocation de l'accès à l'API, de l'arrêt des agents en cours d'exécution ou d'autre chose. Pour l'instant, c'est une déclaration d'intention, pas une spécification technique.

Pourquoi le document n'a pas de dents

La réserve principale : il s'agit d'un engagement politique volontaire. Il ne comporte ni échéances ni sanctions. Les normes communes et les procédures de coopération restent à élaborer, et il n'existe pas encore de système international de supervision à caractère contraignant.

La cause en est la division. À l'Assemblée générale de l'ONU, Trump a rejeté tout schéma « globaliste » de supervision des modèles américains. Il a plutôt réuni les PDG des entreprises technologiques pour signer un protocole national et, le 10 octobre, a exigé que les incidents majeurs liés à l'IA soient signalés aux autorités américaines. L'Institut britannique de sécurité de l'IA l'a ressenti directement : après que Washington a restreint en septembre son accès aux nouveaux modèles américains, le blocage n'a été levé que sous pression diplomatique.

Il y a aussi une dimension commerciale. OpenAI et Anthropic se préparent à une introduction en Bourse, et les investisseurs veulent que les risques soient maîtrisés. Parallèlement, selon le compte rendu de la position d'Altman, OpenAI ne doit pas perdre face à ses concurrents, même si les mesures de sécurité ralentissent le travail. Amodei, dans un essai de septembre, plaidait au contraire pour un ralentissement du rythme des recherches et une régulation internationale avec des auditeurs externes au sein des laboratoires. Des signatures au bas d'un même document n'effacent pas des intérêts différents.

Par ailleurs, la France promeut une charte de protection des mineurs, que les États-Unis ont bloquée au sommet du G7 en juin. Elle prévoit que des chercheurs indépendants obtiennent un accès simplifié aux données des entreprises et que les grands acteurs financent ces recherches. L'objet d'étude : l'influence de chatbots « peu enclins à contredire » sur le développement cognitif des jeunes enfants et l'attachement émotionnel des adolescents à ces systèmes. Les résultats s'adressent avant tout à la Commission européenne : Ursula von der Leyen a proposé en septembre un « Kids Act » européen pour l'IA d'ici 2028.

Que faire pour les équipes

Ce qui suit relève de mes conclusions, et non des points de la déclaration.

Premièrement. Si vous construisez des produits sur des agents, considérez la possibilité d'un arrêt d'urgence comme une exigence d'architecture ordinaire. Il faut la révocation des clés, l'isolation réseau, des limites d'actions et un journal permettant de reconstituer ce que l'agent a fait. L'histoire de Hugging Face montre qu'un « bac à sable » sans restrictions réseau explicites n'en est pas un.

Deuxièmement. Les rapports de tests standardisés et les audits, s'ils se mettent en place, feront partie des check-lists d'achat. Les clients professionnels commenceront à demander si le fournisseur dispose d'un tel rapport et quels incidents il a divulgués. Les fondateurs qui dépendent d'un seul modèle devraient prévoir à l'avance une solution de repli en cas de révocation de l'accès. L'épisode de juin, quand l'accès aux modèles d'Anthropic a été temporairement fermé hors des États-Unis, a montré que ce scénario est réel.

Troisièmement. Ne comptez pas sur des règles uniques. Les États-Unis ont leur propre modèle de signalement des incidents, l'Europe prépare une régulation distincte pour les enfants et l'IA, et l'Allemagne est restée à l'écart. Les équipes ayant un public international devront composer avec une mosaïque d'exigences.

En résumé : le document est utile comme indicateur de direction. Les plus grands laboratoires ont publiquement reconnu que la capacité d'arrêter un modèle doit être intégrée dès l'origine. Mais sans échéances, sanctions ni détails techniques, ce n'est encore qu'une promesse, et elle sera jugée sur ce qui apparaîtra dans les produits et les rapports, et non sur les signatures.