Constitution d'Anthropic : Claude vit désormais selon les règles (et c'est important)
Imaginez que vous créez quelque chose potentiellement plus intelligent que vous et que vous essayez de lui expliquer ce qui est « bien » et ce qui est « mal…
Traité par IA depuis Habr AI ; édité par Hamidun News
Imaginez que vous créez quelque chose potentiellement plus intelligent que vous et que vous essayez de lui expliquer ce qui est « bien » et ce qui est « mal ». Ce n'est pas un scénario de blockbuster hollywoodien, mais la réalité quotidienne d'Anthropic. Pendant que l'industrie débat du nombre de GPU nécessaires pour le bonheur, les créateurs de Claude ont décidé de prendre une voie différente et d'écrire une véritable Constitution pour leur réseau de neurones. Ce n'est pas simplement une liste de mots interdits ou de filtres rigides à l'entrée. C'est une tentative d'incorporer dans le code quelque chose comme une conscience qui doit fonctionner même lorsque les développeurs ne regardent pas.
Depuis le début, Anthropic s'est positionnée comme un « laboratoire de sécurité » fondé par d'anciens membres d'OpenAI qui n'étaient pas d'accord avec Sam Altman sur les questions de commercialisation et d'éthique. Depuis lors, la société de Dario Amodei a construit méthodiquement une image de joueur le plus responsable du marché. Publier le texte de la Constitution n'est pas seulement un geste de bonne volonté—c'est un coup stratégique dans le grand jeu pour l'influence sur les gouvernements mondiaux.
Quand les régulateurs à Washington ou à Bruxelles demandent comment nous contrôlerons la future superintelligence, Anthropic a déjà une réponse prête sous forme de document. Ils ne font pas simplement entraîner un modèle ; ils tentent de conclure un accord avec lui, en créant des cadres clairs pour la coexistence.
L'approche est basée sur la technologie de l'IA Constitutionnelle. Contrairement à la méthode familière d'apprentissage par renforcement à partir des commentaires humains (RLHF), où de vraies personnes passent des heures à étiqueter les réponses des réseaux de neurones, Anthropic utilise le modèle lui-même pour l'auto-édition. Le processus semble presque philosophique : on donne aux modèles une liste de principes—de la Déclaration universelle des droits de l'homme des Nations unies aux règles de protection des données d'Apple—et on leur demande de critiquer leurs propres brouillons pour la conformité à ces normes.
En résultat, Claude apprend non seulement à imiter les préférences humaines, mais à suivre la logique des valeurs qui y sont incorporées. Cela évite à l'entreprise de devoir maintenir une armée de modérateurs mal payés dans les pays en développement, ce qui est en soi un geste éthique fort.
Pourquoi l'industrie a-t-elle besoin de cela ? Premièrement, c'est évolutif. Les ressources humaines sont limitées, mais un réseau de neurones peut analyser ses propres erreurs infiniment. Deuxièmement, cela rend le comportement du modèle plus prévisible et transparent. Si Claude refuse de répondre à une question, il le fait non pas par caprice de l'algorithme, mais parce qu'un point spécifique de la Constitution lui interdit de violer la confidentialité ou d'encourager la violence. Cela crée une base de confiance qui est critique pour le secteur des entreprises. Les entreprises n'ont pas besoin d'une IA qui pourrait soudainement dire quelque chose de non-politique ou de dangereux. Ils ont besoin d'un outil avec des limites de responsabilité clairement définies.
Cependant, derrière les belles paroles sur la sécurité se cache une lutte féroce pour la direction. Dario Amodei dans ses essais récents suggère directement que nous sommes à un point critique du développement de la civilisation, qu'il appelle la « période adolescente de la technologie ». Anthropic essaie de prendre à OpenAI le rôle de principal centre intellectuel qui établit les règles du jeu. Si OpenAI est une startup agressive qui veut donner aux gens un outil pour tout, alors Anthropic est une sorte d'« adulte dans la pièce » insistant sur le fait que le pouvoir sans contrôle est dénué de sens et dangereux.
Fait intéressant, la Constitution est continuellement affinée. C'est un document vivant qui reflète les peurs et espoirs actuels de la société. Il comprend des dispositions sur l'inadmissibilité de la discrimination, l'importance de fournir des informations objectives, et même comment l'IA doit se comporter dans les situations où les valeurs humaines entrent en conflit. C'est un rappel d'une tentative de créer un citoyen numérique idéal qui suit toujours la lettre de la loi tout en étant assez intelligent pour en comprendre l'esprit. En fin de compte, le succès d'Anthropic dépendra du fait que les utilisateurs croient en cette « moralité artificielle » ou la voient comme une simple couche supplémentaire de censure d'entreprise.
La question clé : La Constitution d'Anthropic deviendra-t-elle une norme universelle pour tous les LLM, ou verrons-nous une guerre de « moralités d'entreprise » où chaque modèle a ses propres idées sur le bien et le mal ?
Vous voulez cesser de lire sur l'IA et commencer à l'utiliser?
AI News est un fil d'actualité IA. Hamidun Academy vous apprend à utiliser l'IA dans votre travail.