Claude contre l'apocalypse : Anthropic apprend à son IA à être plus sage que ses créateurs

Pendant que les leaders du marché se comparent en nombre de paramètres et en vitesse de génération de texte, les bureaux d'Anthropic s'occupent de choses bien plus éthérées. L'entreprise, fondée par d'anciens d'OpenAI précisément à cause de désaccords sur la sécurité, a décidé de jouer le tout pour le tout. Son nouveau pari n'est pas seulement d'ériger des « clôtures » autour du réseau de neurones, mais d'apprendre à Claude quelque chose comme la sagesse. On dirait le point de départ d'un roman de science-fiction, mais c'est un calcul pragmatique : si l'IA devient plus intelligente que nous, elle doit comprendre elle-même pourquoi il ne faut pas transformer la planète en entrepôt de trombones.

Pour comprendre pourquoi cela compte maintenant, il faut rappeler comment fonctionnait la sécurité de l'IA jusqu'ici. En général, il s'agissait d'une liste sans fin d'interdits : ne parle pas de ceci, n'écris pas sur cela, n'aide pas pour des recettes dangereuses. Le problème, c'est que les pirates, ou de simples utilisateurs curieux, trouvent des « failles » dans ces règles plus vite que les ingénieurs ne peuvent les colmater. Anthropic, de son côté, défend l'idée d'une « IA constitutionnelle », où le modèle dispose d'un ensemble de principes de base. Cette approche évolue désormais vers une compréhension plus profonde du contexte. Les développeurs veulent que Claude mesure les conséquences de ses actes comme le ferait une personne mûre.

Ce changement de stratégie ne sort pas de nulle part. Après que GPT-4 et d'autres modèles ont montré qu'ils pouvaient contourner les restrictions logicielles par des jeux de rôle élaborés, il est apparu que les anciennes méthodes ne fonctionnent pas. Anthropic tente de bâtir un système doté d'une colonne vertébrale éthique interne. C'est crucial à l'approche d'agents réellement puissants, capables d'agir seuls sur internet, de disposer d'argent et de gérer des infrastructures. Sans « sagesse », un tel agent devient une machine de destruction extrêmement efficace, mais totalement dénuée de cervelle.

Les critiques ironisent, bien sûr. Il est facile de parler de la sagesse d'un algorithme quand son entreprise est valorisée des milliards de dollars et doit se démarquer face à des géants comme Google. Mais si l'on met le scepticisme de côté, Anthropic soulève une question fondamentale : peut-on seulement contrôler, avec des règles externes, une intelligence qui surpasse la nôtre ? La réponse de l'entreprise est non ; le contrôle doit être interne. Cela fait de Claude une sorte de « philosophe » parmi les réseaux de neurones, qui consacre de précieux cycles de calcul à réfléchir au bien et au mal.

Que cela signifie-t-il pour l'industrie ? D'abord, Anthropic impose un nouveau standard de marque « sûre ». Pendant que d'autres s'excusent des hallucinations et des réponses toxiques, l'équipe de Dario Amodei construit l'image de l'acteur le plus responsable. Ensuite, cela met la pression sur les concurrents. Si Claude s'avère réellement plus stable et prévisible dans les scénarios complexes, il sera plus simple pour les entreprises de le choisir plutôt que des alternatives plus puissantes mais « sauvages ». La sécurité cesse d'être une section ennuyeuse de la documentation pour devenir un avantage concurrentiel majeur.

Au bout du compte, nous assistons à une expérience grandiose. Un ensemble de fonctions mathématiques peut-il saisir le concept de responsabilité ? Ou la « sagesse » de Claude restera-t-elle une imitation très réussie, qui s'effondrera au premier contact avec une situation vraiment atypique ? Chez Anthropic, on croit que l'humanité n'a tout simplement pas d'autre voie. Soit nous apprenons à l'IA à nous comprendre, soit nous deviendrons pour elle un simple jeu de données du passé.

À retenir : Anthropic tente de faire de Claude le premier agent « éthique », qui comprend non seulement la lettre des règles, mais aussi leur esprit. La compétition pour l'« IA la plus sage » pourra-t-elle remplacer la course à l'« IA la plus puissante » ?