Scott Wiener entre au Congrès après avoir porté deux propositions de loi sur la sécurité de l’IA

Si votre produit confie à une IA la rédaction de code, l’exécution d’outils ou le traitement de données d’entreprise, la question de la sécurité devient vite concrète : qui a évalué le système et comment l’arrêter en cas de défaillance ? Scott Wiener veut que les développeurs de modèles de pointe répondent à ces questions dans un cadre contraignant. Sa victoire aux élections au Congrès lui donne une tribune pour défendre ce programme au niveau fédéral.

Selon un article de MIT Technology Review, Wiener occupera le siège laissé vacant par Nancy Pelosi à San Francisco. Pour le secteur, son parcours compte : en Californie, il a déjà porté deux propositions de loi sur la sécurité de l’IA. Il faudra désormais suivre les approches qui se retrouveront dans les initiatives fédérales et déterminer précisément qui elles concerneront.

Ce que Wiener veut rendre obligatoire

Le premier de ses textes les plus connus, SB 1047, a fait l’objet d’un veto du gouverneur de Californie, Gavin Newsom, en 2024. Le texte plus modéré SB 53 a été signé par le gouverneur. Il serait donc prématuré d’affirmer que Wiener va simplement étendre à tout le pays un dispositif californien déjà établi : même à l’échelle de l’État, l’approche initiale a dû être remaniée.

Dans un entretien, Wiener s’est prononcé pour la création d’un régulateur fédéral doté de pouvoirs importants, des tests et des audits obligatoires, la protection des lanceurs d’alerte et une obligation d’arrêt d’urgence. Il veut également recourir au contrôle parlementaire pour obtenir des réponses des laboratoires d’IA. Il s’agit de pistes de travail pour l’avenir, et non de la description d’exigences fédérales déjà adoptées.

Prenons un exemple concret : un agent autorisé à modifier du code et à exécuter des tâches dans l’infrastructure d’une entreprise. Une évaluation interne doit montrer ce qui se passe en cas de commande erronée, quelles actions l’agent peut effectuer et qui peut interrompre son exécution. Un audit indépendant ajoute une autre question : un tiers peut-il vérifier ces conclusions ? Les procédures précises dépendront du texte des futures lois ; cet exemple illustre le problème d’ingénierie soulevé par un tel programme.

L’auto-amélioration des modèles exige des formulations précises

Wiener justifie l’urgence par le risque de perdre le contrôle de l’IA. L’élément déclencheur a été un rapport de METR que beaucoup, selon le récit de la publication, ont interprété comme la preuve d’une auto-amélioration récursive chez Anthropic.

Un exemple simple : un modèle aide des chercheurs à écrire du code pour entraîner le modèle suivant. Si cette aide accélère sensiblement le développement, la question se pose de savoir à quel point le cycle suivant sera plus rapide. Mais la participation de l’IA à la recherche ne prouve pas, à elle seule, qu’un système améliore ses propres capacités de manière autonome et incontrôlée. Le document fourni ne contient pas de résultats techniques permettant de tirer cette conclusion.

Pour un développeur, une question concrète se dégage : quelles décisions le système prend-il seul, et à quels moments un humain vérifie-t-il son travail ? Un agent qui propose une modification du code d’entraînement présente un certain degré d’autonomie. S’il peut appliquer lui-même cette modification, lancer l’entraînement et déployer le résultat, la chaîne de contrôle est différente. Le débat politique sur les risques ne dispense pas d’examiner ces distinctions.

Ce que cela change pour les équipes produit

Pour l’instant, l’article rapporte les intentions d’un élu. Il ne fixe ni calendrier d’adoption des règles, ni seuils de taille des modèles, ni obligations pour une start-up classique qui utilise l’API d’un tiers. Le Congrès conserve ses propres priorités, et l’adoption d’une loi exigera bien davantage que le soutien d’un seul représentant.

Autre point d’incertitude : les relations entre le pouvoir fédéral et les États. Wiener s’oppose à une interdiction générale empêchant les États d’adopter leurs propres règles sur l’IA. Pour les entreprises, cela signifie que la question d’un cadre réglementaire unique reste ouverte. On ne peut pas non plus présumer que les exigences visant les concepteurs de modèles de pointe s’appliqueront automatiquement à tous les développeurs d’applications.

La démarche pratique consiste à mettre en ordre les informations sur son propre produit : les modèles qu’il utilise, les pouvoirs accordés à l’agent, la manière dont l’équipe teste les scénarios dangereux et la personne chargée d’arrêter le système en cas d’incident. Cette documentation permet dès aujourd’hui de discuter de sécurité avec un client. Quant aux futurs coûts de mise en conformité, mieux vaut les évaluer une fois qu’un texte précis sera disponible : les déclarations de Wiener ne permettent pas encore de les chiffrer.