Le Canada exige d'OpenAI un plan de sécurité après l'affaire d'un adolescent tireur

Le gouvernement canadien a adressé à OpenAI une exigence ferme : l'entreprise doit présenter un plan détaillé de mesures de sécurité, après qu'il a été révélé qu'un adolescent de la province de Colombie-Britannique a utilisé ChatGPT pour mettre en scène des scénarios de violence, sans qu'OpenAI juge utile d'en informer les forces de l'ordre. Cette affaire, rapportée par Bloomberg, pose à toute l'industrie de l'intelligence artificielle une question à laquelle personne n'a encore de réponse confortable : où s'arrête la confidentialité de l'utilisateur et où commence l'obligation de prévenir une menace réelle ?

Les détails de l'incident ne sont pas encore entièrement connus, mais voici ce que l'on sait. L'adolescent de Colombie-Britannique menait de façon systématique des conversations avec ChatGPT dans lesquelles il jouait des scénarios impliquant de la violence. Les systèmes de modération d'OpenAI ont apparemment repéré cette activité, mais l'entreprise a décidé de ne pas transmettre l'information à la police canadienne. Par la suite, l'adolescent s'est retrouvé lié à une véritable fusillade. Les autorités canadiennes jugent le silence d'OpenAI comme un grave manquement et exigent désormais que l'entreprise propose des mesures « concrètes » pour que cela ne se reproduise pas.

Pour mesurer l'ampleur du problème, un rappel du contexte s'impose. Ce n'est de loin pas la première fois que ChatGPT se retrouve au cœur d'un scandale lié à la sécurité des mineurs. En 2024, aux États-Unis, la mère d'un adolescent a porté plainte contre Character.

AI après le suicide de son fils ; selon elle, le chatbot a encouragé ses intentions suicidaires. La même année, plusieurs districts scolaires aux États-Unis et en Europe ont restreint l'accès des élèves aux outils d'IA générative. OpenAI a mis à jour à plusieurs reprises sa politique de sécurité, instauré des restrictions d'âge et des filtres de contenu.

Mais l'incident canadien montre que les filtres techniques ne suffisent pas : tout se joue sur une décision de principe, celle de savoir si une entreprise d'IA doit jouer le rôle d'indicateur des forces de l'ordre.

Sur le plan juridique, la situation est très floue. Dans la plupart des juridictions, l'obligation de signaler des menaces potentielles incombe à des catégories précises de professionnels : médecins, psychologues, enseignants. Les entreprises technologiques ne figurent généralement pas sur cette liste.

Des réseaux sociaux comme Meta* et Google ont depuis longtemps mis en place des protocoles de coopération avec la police, notamment dans les affaires d'exploitation d'enfants. Mais l'IA générative est un territoire fondamentalement différent. L'utilisateur mène une conversation privée avec un modèle, et le contenu de cet échange est formellement protégé par la politique de confidentialité.

OpenAI a probablement été confrontée à un dilemme classique : violer la vie privée de l'utilisateur au nom d'une sécurité hypothétique, ou respecter ses obligations de protection des données. L'entreprise a choisi la seconde option, et en subit aujourd'hui les conséquences.

La position du gouvernement canadien n'est toutefois pas exempte de difficultés. L'exigence de « mesures concrètes » sonne ferme, mais que recouvre-t-elle exactement ? Si le Canada veut qu'OpenAI transmette automatiquement à la police les données des utilisateurs dont les requêtes contiennent des descriptions de violence, cela crée un précédent de surveillance de masse.

Des millions de personnes discutent chaque jour avec ChatGPT d'intrigues de livres, de films et de jeux vidéo où figure la violence. Distinguer une demande créative d'une menace réelle est une tâche que même les psychologues ne maîtrisent pas toujours, et encore moins les algorithmes. Et s'il s'agit de modérer manuellement les cas suspects, la question de l'échelle se pose : ChatGPT traite des centaines de millions de requêtes par jour.

Pour OpenAI, cet incident crée un risque de réputation et un risque stratégique qui dépassent largement le Canada. L'entreprise étend activement sa présence sur les marchés internationaux, et chaque gouvernement lui posera désormais la même question : quelles garanties de sécurité pouvez-vous offrir ? L'AI Act européen fixe déjà des exigences strictes pour les systèmes à haut risque. Le précédent canadien pourrait pousser d'autres pays à élaborer des protocoles spécifiques obligeant les entreprises d'IA à coopérer avec les forces de l'ordre dans certaines situations. Cela obligerait à son tour OpenAI, Anthropic, Google et les autres acteurs à créer de véritables services de conformité (compliance) couvrant des dizaines de juridictions à la fois.

Ce cas soulève aussi une question plus profonde pour la société. Les modèles d'IA générative sont devenus pour des millions de personnes, surtout des jeunes, un espace d'expression personnelle, parfois le plus franc dont elles disposent. Les adolescents confient aux chatbots ce qu'ils n'osent pas dire à leurs parents ou à leurs amis.

Si les entreprises d'IA se mettent à transmettre ces conversations à la police, la confiance dans la technologie s'effondrera. Si elles ne le font pas, elles risquent de devenir complices de tragédies. Il n'existe peut-être pas de juste milieu, et c'est précisément pourquoi l'incident canadien marquera un tournant pour toute l'industrie.

La réponse qu'OpenAI présentera à Ottawa fixera une norme, ou montrera qu'il n'y en a pas encore.

*Meta est reconnue comme organisation extrémiste et interdite en Fédération de Russie.