Dario Amodei et la fin du monde : pourquoi le créateur de Claude craint sa propre IA

Imaginez que vous construisez la voiture de course la plus rapide du monde, mais lors de chaque conférence de presse, vous insistez sur le fait qu'elle va probablement s'écraser contre un mur et tuer tous les spectateurs dans les tribunes. C'est essentiellement ainsi que semble se comporter Dario Amodei, PDG d'Anthropic, en ce moment. L'homme qui nous a donné Claude — probablement le réseau de neurones le plus humain et le plus éthique du marché — a soudainement basculé d'un optimisme prudent à une rhétorique inspirée des prophètes de l'apocalypse.

Sa récente déclaration selon laquelle la technologie qu'il crée pourrait littéralement déchirer la civilisation humaine nous fait nous demander : sommes-nous vraiment au bord de la fin, ou s'agit-il d'une stratégie de marketing très étrange ?

Pour comprendre l'ampleur du drame, nous devons nous souvenir de la manière dont Anthropic est apparue. Un groupe de cadres supérieurs et de chercheurs a quitté OpenAI précisément parce qu'il considérait que l'approche de Sam Altman en matière de sécurité était trop irresponsable et commercialisée. Ils voulaient construire une IA constitutionnelle qui aurait une boussole morale interne intégrée dans l'architecture même du modèle. Et maintenant, alors que leurs modèles commencent à surpasser GPT-4 sur de nombreuses métriques clés, le fondateur de l'entreprise dit que l'humanité devrait se réveiller. Cela ne ressemble pas à une analyse sèche, mais au cri de l'âme de quelqu'un qui a regardé derrière les rideaux de la réalité et y a vu quelque chose d'effrayant.

Amodei parle des risques depuis plus d'un an, mais le niveau de la rhétorique a clairement augmenté. Lorsque le leader de l'un des trois laboratoires d'IA les plus influents du monde discute de la destruction des fondements de la société, ce n'est plus les fantasmes des geeks technologiques sur les forums. C'est la position de quelqu'un qui contrôle des milliards de dollars provenant de Google et Amazon.

Selon lui, la puissance des modèles croît de façon exponentielle, et nous échouons catastrophiquement à créer des mécanismes de contrôle. Nous apprenons aux machines à penser, mais nous ne comprenons toujours pas complètement comment elles le font, et nous ne savons certainement pas comment appuyer sur le frein lorsque le processus devient incontrôlable.

Cela soulève une question logique : si tout est aussi mauvais, pourquoi ne pas simplement arrêter de construire ces modèles ? Mais dans le monde des grandes entreprises technologiques, ça ne marche pas comme ça. Si Anthropic s'arrête, OpenAI et Google n'accéléreront que davantage. C'est un dilemme classique du prisonnier à l'échelle planétaire. Amodei se trouve dans le rôle d'un Oppenheimer moderne, qui est pleinement conscient de la puissance destructrice de sa création, mais continue de travailler, espérant que sa version de la bombe sera suffisamment sûre pour ne pas faire exploser le monde lors du processus de test.

Les critiques, bien sûr, y voient une tentative de capture réglementaire. Si vous convaincez les gouvernements que l'IA est un jouet mortel, les autorités introduiront des règles si strictes que les nouveaux acteurs ne pourront tout simplement pas accéder au marché en raison de la bureaucratie et des coûts de conformité. C'est un excellent moyen de cimenter la domination des géants actuels sous le prétexte de la préoccupation pour la survie de l'espèce. Cependant, dans le cas d'Amodei, cette théorie semble trop simple. Son entreprise dépense plus en recherche de sécurité que quiconque dans l'industrie, et son anxiété semble étrangement authentique.

En fin de compte, nous assistons à un moment historique unique où les créateurs de technologie deviennent ses critiques les plus féroces. Amodei nous confronte à un fait : nous créons une force que nous ne comprenons pas complètement et que nous ne savons pas comment gérer. Si l'homme qui connaît Claude de l'intérieur a peur de sa création, alors nous, simples utilisateurs, devrions au moins commencer à poser les bonnes questions à nos politiciens. Parviendrons-nous à nous réveiller à temps, ou cet avertissement ne sera-t-il qu'une autre citation dans les manuels d'histoire qui seront écrits par quelque chose d'autre que des humains ?

L'essentiel : Le chef d'Anthropic confirme que la course aux armements en IA est entrée dans une phase où la sécurité est sacrifiée pour la vitesse. L'industrie parviendra-t-elle à s'arrêter au bord sans catastrophe ?