Anthropic met à jour sa Responsible Scaling Policy : un système de protection souple pour des modèles d'IA de plus en plus puissants

Anthropic a publié une mise à jour de sa Responsible Scaling Policy, la politique qui encadre la gestion des risques dans le développement de systèmes d'IA puissants. Cette mise à jour apporte une approche plus souple et plus nuancée, tout en conservant le principe central : l'entreprise n'entraînera ni ne déploiera de modèles tant qu'elle ne sera pas certaine que les risques restent à un niveau acceptable.

Pourquoi la politique a été révisée

Il y a un an, Anthropic a publié la première version de la RSP, conçue pour gérer les risques de systèmes d'IA toujours plus puissants. Une année de mise en pratique a montré le besoin d'une approche plus souple. L'entreprise surveille non seulement les capacités techniques de ses modèles, mais aussi leurs risques et conséquences potentiels.

Anthropic suit plusieurs catégories de menaces en parallèle. Il s'agit de problèmes classiques comme la diffusion de désinformation, l'incitation à la violence et la fraude, tous couverts par la Usage Policy de l'entreprise. La RSP, elle, se concentre sur des scénarios catastrophiques plus ambitieux, qui pourraient apparaître lorsque les modèles atteindront un certain niveau d'indépendance et de capacité à mener des manipulations complexes.

La politique révisée s'appuie sur l'expérience pratique et sur des approches employées dans d'autres secteurs à haut risque : l'aviation, le nucléaire et la pharmacie. Cela permet de mieux se préparer au rythme accéléré du développement de l'IA et de bâtir des systèmes de protection qui évoluent avec la technologie.

Comment fonctionnent les niveaux ASL

Le nouveau système repose sur le principe de protection proportionnelle : les mesures de sécurité doivent croître avec les risques. Anthropic a introduit les AI Safety Level Standards (ASL Standards), des ensembles gradués d'exigences techniques et procédurales inspirés des Biosafety Levels internationaux, utilisés dans les laboratoires qui manipulent des matières dangereuses.

Le système commence à ASL-1 pour les modèles aux capacités de base (par exemple, des bots spécialisés dans les échecs ou la recherche rapide d'informations), puis monte à ASL-2, ASL-3 et au-delà à mesure que les capacités et les risques potentiels augmentent. Chaque niveau supérieur impose des exigences plus strictes :

• Surveillance et journalisation renforcées de toutes les opérations effectuées par le modèle
• Tests de sécurité plus stricts avant le déploiement
• Couches supplémentaires de contrôle d'accès, d'isolation et de segmentation
• Audits indépendants obligatoires et contrôles réalisés par des experts externes en sécurité
• Réévaluations plus fréquentes des risques potentiels à mesure que de nouvelles données apparaissent

À l'heure actuelle, tous les modèles d'Anthropic fonctionnent selon le standard ASL-2, que l'entreprise estime refléter les meilleures pratiques du secteur aujourd'hui.

Seuils de capacités : quand passer en alerte maximale

Au lieu de critères flous et subjectifs, Anthropic a défini des seuils concrets, les Capability Thresholds : des aptitudes précises du modèle qui, une fois atteintes, exigent des mesures de sécurité plus fortes et un nouveau niveau ASL. Deux seuils clés ont été définis pour l'instant.

Le premier est Autonomous AI R&D : si un modèle peut mener seul des tâches complexes de recherche en IA, qui requièrent habituellement l'expertise et l'intuition humaines, il pourrait accélérer considérablement le développement de l'IA dans une direction imprévisible.

Le second seuil est mentionné dans le document d'origine, mais sa description complète n'a pas encore été dévoilée. L'entreprise se réserve la possibilité d'allonger la liste à mesure qu'elle comprendra mieux l'impact réel des nouvelles capacités.

Ce que cela signifie

Anthropic défend l'idée que la sécurité de l'IA ne doit être ni un blocage irrationnel ni une absence totale de contrôle. L'entreprise construit à la place un système évolutif, qui grandit avec la technologie et s'adapte aux risques réels.

Cette approche compte aussi pour les autres développeurs. Si les idées d'Anthropic font l'objet d'une large adhésion dans la communauté, elles pourraient devenir un standard de fait du secteur. C'est particulièrement pertinent pour les régulateurs, qui cherchent actuellement des cadres pratiques pour superviser les systèmes d'IA.