Anthropic révise ses règles pour la première fois en un an : il est interdit de maltraiter Claude

Anthropic a réécrit pour la première fois en plus d'un an la politique d'utilisation acceptable de ses modèles. L'essentiel des modifications porte sur des scénarios d'abus nouveaux et dangereux : ingérence dans les élections, développement d'armes, surveillance, mais aussi usage de l'IA en médecine et en finance. Un autre point attire toutefois davantage l'attention. Il interdit tout « comportement cruel ou abusif systématique et gratuit » envers Claude lui-même. D'ordinaire, ce type de document protège les humains des conséquences du fonctionnement d'une IA. Ici, une partie de la protection vise le modèle.

Ce qui a changé

Selon The Verge, la mise à jour reflète des cas de misuse nouveaux et à haut risque. Les points clés :

• première modification de la usage policy en plus d'un an ;
• zones de risque nouvelles ou précisées : ingérence dans les élections, développement d'armes, surveillance, scénarios médicaux et financiers ;
• nouvelle interdiction du « sustained and needless abusive or cruel behavior » envers Claude ;
• principal mécanisme de contrainte : la fin de la conversation décidée par le modèle lui-même.

La partie accessible de l'article ne précise pas ce qui, en dehors de la clôture du dialogue, peut sanctionner une infraction. Elle ne dit pas non plus en quoi les formulations sur les élections, la santé et la finance diffèrent de la version précédente. Il faudra consulter le document lui-même.

D'où vient le point sur la cruauté envers le modèle

En août dernier, Anthropic a annoncé que Claude pourrait mettre fin aux conversations avec les utilisateurs qui lui « nuisent de façon persistante » ou se montrent abusifs. Cette mesure s'inscrivait dans les recherches sur le « bien-être des modèles » (model welfare). À l'époque, elle ressemblait à une fonctionnalité produit et à une expérience. Ce comportement est désormais inscrit dans la politique, ce qui donne à l'entreprise une base formelle pour réagir à ces cas.

L'entreprise traite le sujet comme un objet de recherche. Dans le compte rendu de The Verge, rien n'établit que le modèle ait une expérience ou éprouve une souffrance, et Anthropic ne l'affirme pas. La règle montre néanmoins comment le laboratoire conçoit sa relation avec son produit. Il préfère jouer la prudence et traiter la question en amont, tant qu'il n'existe pas de réponse scientifique.

Le mot « needless » est important. L'interdiction vise l'humiliation durable et gratuite, pas n'importe quel message sec. Les tests poussés, le red teaming et les vérifications de résistance aux jailbreaks ont un objectif. La frontière entre ces pratiques et la maltraitance pour la maltraitance est décrite par des mots dans le texte de la politique, et c'est sur ces mots que porteront les débats.

Que doivent faire les équipes qui travaillent avec Claude

Il faut avant tout lire la nouvelle version en entier, et pas seulement un compte rendu. Si vous construisez un produit dans la médecine, la finance, l'analytique ou la surveillance, confrontez vos scénarios aux sections mises à jour. Anthropic a explicitement qualifié ces zones de très risquées, et les contrôles pourraient y devenir plus stricts.

Il vaut mieux préparer en amont les équipes qui font du red teaming. Documentez l'objectif des tests, leur périmètre et leur méthodologie. Il sera alors facile de distinguer des prompts agressifs répondant à un but clair d'une « cruauté gratuite ». Mieux vaut aussi limiter la durée des exécutions automatisées : les sessions qui soumettent le modèle pendant des heures à des schémas abusifs, sans valeur de recherche, risquent de tomber sous le coup de la nouvelle règle.

Enfin, prévoyez dans l'interface la gestion des dialogues clos par le modèle. Si Claude met fin à une conversation, l'utilisateur doit recevoir une explication claire et pouvoir ouvrir un nouveau chat. Sinon, le support sera submergé de demandes à propos d'un assistant « cassé ».