Nate Soares, sur le podcast de Bloomberg : pourquoi l'IA ne peut pas être « alignée »

Bloomberg a publié un entretien avec Nate Soares, président du Machine Intelligence Research Institute (MIRI). En 2025, il a publié avec Eliezer Yudkowsky le livre « If Anyone Builds It, Everyone Dies ». Son idée centrale tient dans son titre : si quelqu'un construit une IA superintelligente, tout le monde meurt. Selon l'annonce du podcast, depuis l'incident Hugging Face, les discussions sur les scénarios de fin du monde ne sont plus marginales et sont entrées dans le courant dominant. Le contenu ne précise pas ce qui s'est exactement passé sur la plateforme ; il est donc impossible d'évaluer ici l'ampleur de l'incident.

Une vieille inquiétude dans un nouveau contexte

Soares et le MIRI travaillent sur la sécurité de l'IA bien avant ChatGPT et les grands modèles de langage. Leur position passait alors généralement pour exotique ; l'actualité oblige aujourd'hui à y revenir. Le podcast cherche à expliquer pourquoi une personne qui travaille sur le sujet depuis des décennies juge le risque non pas hypothétique, mais logique.

L'entretien s'articule autour de deux questions : pourquoi, selon Soares, une IA superintelligente ne peut pas être « alignée » (c'est-à-dire conçue de manière fiable pour que ses objectifs coïncident avec ceux des humains), et comment exactement la technologie échapperait à tout contrôle à mesure que ses capacités augmentent.

Les principaux points de l'entretien

À partir de l'annonce et du livre sur lequel il s'appuie, on peut dégager plusieurs positions :

• Les auteurs considèrent la disparition de l'humanité comme la conséquence inévitable de la création d'une superintelligence, et non comme l'une des issues possibles.
• Selon eux, aligner les objectifs d'un système superintelligent sur ceux des humains est une tâche pratiquement insoluble.
• Le danger croît avec les capacités : plus un système est performant, moins on a de chances de l'arrêter lorsque quelque chose tourne mal.
• Soares dirige le MIRI, une organisation qui travaille sur cette question depuis l'époque antérieure à l'ère commerciale des grands modèles.
• Format : un épisode de Bloomberg Tech, avec une explication détaillée plutôt qu'un bref commentaire.

Où l'argument est vulnérable

Dans l'industrie, les sceptiques opposent plusieurs objections à ce type de scénarios. Ils soulignent que la « disparition inévitable » ne repose sur aucune base empirique : aucun système existant n'a démontré une capacité à prendre le contrôle du monde. Le calendrier d'apparition d'une superintelligence reste lui aussi contesté, tout comme la possibilité même d'en créer une avec les architectures actuelles. Les partisans de Soares répondent qu'attendre des preuves est absurde, car après le premier exemple réel, il sera trop tard pour corriger quoi que ce soit.

L'annonce ne contient ni chiffres précis, ni prévisions de calendrier, ni détails sur le mécanisme d'« évasion » ; il faudra donc écouter l'épisode pour connaître l'argumentation complète. Le texte ne permet pas non plus de savoir comment Soares relie le cas Hugging Face à ses conclusions.

Que faire concrètement

Pour les équipes qui construisent des produits sur des modèles, la conclusion la plus utile est plus modeste que l'apocalypse. Le débat sur les risques est sorti de la niche académique, et les régulateurs, les clients et les investisseurs demanderont de plus en plus souvent comment sont organisés le contrôle d'accès, l'évaluation des capacités dangereuses et les procédures d'arrêt des systèmes. Ceux qui publient des modèles ouverts ou les hébergent sur des plateformes publiques ont intérêt à définir à l'avance une politique de réponse aux incidents, plutôt que de l'écrire une fois les faits survenus.

Pour le lecteur qui cherche à se faire une opinion, le conseil principal est d'écouter les deux camps. La position de Soares et de Yudkowsky mérite d'être connue, même si l'on ne la partage pas, car c'est elle qui fixe le cadre dans lequel sont discutées aujourd'hui les propositions de régulation de l'IA les plus dures. La version complète de l'épisode est disponible sur Bloomberg.