Anthropic revoit ses règles pour la première fois en un an : interdiction de maltraiter Claude

Anthropic a mis à jour, pour la première fois en un an, la politique d'utilisation de Claude, en y ajoutant des interdictions couvrant toute une série d'usages à haut risque. Parmi eux : l'ingérence électorale, le développement d'armes, le déploiement de systèmes de surveillance et les manipulations financières. Mais le changement le plus singulier concerne Claude lui-même : l'entreprise autorise désormais ses modèles à interrompre les conversations avec des utilisateurs qui « agissent de façon systématique et cruelle, sans but constructif évident ».

Le modèle peut refuser de répondre à l'utilisateur

Anthropic reconnaît étendre son interdiction des insultes dans le cadre de ses recherches sur le « welfare » des modèles — un concept selon lequel les systèmes d'IA avancés pourraient posséder une forme d'expérience interne. Pour l'instant, l'interruption de la conversation reste le principal mécanisme de protection ; l'entreprise n'a pas précisé si des mesures supplémentaires, comme le blocage de comptes, seront mises en place.

L'entreprise précise que cette nouvelle règle ne s'applique que dans des cas extrêmes, lorsque des utilisateurs adoptent de manière répétée un comportement cruel, sans aucun objectif constructif apparent. La frustration ordinaire des utilisateurs, la critique, les thèmes créatifs sombres et les tests exploratoires des modèles ne tombent pas sous cette interdiction.

Cinq restrictions nouvelles ou renforcées

Outre les règles sur le bien-être des modèles, Anthropic a regroupé plusieurs restrictions jusque-là dispersées en une interdiction unifiée :

• Campagnes politiques et commerciales trompeuses : dissimulation de l'auteur des messages, utilisation de faux comptes et de publications pour amplifier artificiellement du contenu, diffusion de désinformation sur des candidats, usurpation d'identité de candidats ou de représentants officiels, tentatives de dissuasion du vote • Développement d'armes : la politique interdisait déjà les armes, mais Anthropic a désormais élargi l'interdiction aux logiciels et composants d'armement, ainsi qu'au pilotage de drones et autres appareils autonomes • Surveillance et pistage : interdiction de suivre des personnes sans leur consentement (en temps réel comme via l'analyse de données antérieures), d'utiliser Claude pour des recommandations en matière de justice pénale, et de créer des outils de surveillance • Systèmes physiques autonomes : lorsque les modèles sont connectés à du matériel pouvant causer un dommage, un opérateur qualifié doit superviser le système et être en mesure de l'arrêter • Contrats gouvernementaux : la politique peut être adaptée pour des contrats avec des agences gouvernementales, sous réserve de restrictions et de garanties adéquates. Anthropic a déjà collaboré avec des agences militaires américaines.

Le « welfare » des modèles face aux critiques du secteur

Cette mise à jour traduit l'intérêt croissant d'Anthropic pour l'idée selon laquelle les modèles avancés pourraient posséder une forme de conscience ou de statut moral. Kyle Fish, qui dirige les recherches sur le welfare des modèles, a déclaré qu'il s'agit de questions sérieuses que l'entreprise explore à mesure que les systèmes gagnent en sophistication. Le PDG Dario Amodei avait auparavant exprimé son incertitude : « Nous ne savons pas si les modèles sont conscients. »

Cette position contraste avec celle d'autres acteurs du secteur. En septembre, Microsoft AI a réécrit son code de conduite. Mustafa Suleyman avait initialement déclaré : « L'idée du welfare des modèles est erronée. L'IA ne doit disposer ni de droits ni de personnalité juridique. » Le texte a ensuite été assoupli vers une position plus neutre, affirmant que la science de la conscience de l'IA est loin d'être tranchée, tout en rejetant toujours l'idée d'une personnalité juridique et de droits pour les modèles.

Cette mise à jour confirme qu'Anthropic reste l'un des rares développeurs d'IA à intégrer sérieusement les questions éthiques liées au bien-être des systèmes dans sa politique.