Как измерить остаточный риск автономных ИИ-агентов: фреймворк CPSAINT и FRIESA-K

En juillet 2026, des chercheurs ont publié sur arXiv un framework permettant d'évaluer quantitativement le risque résiduel de l'IA agentique — un duo de deux modèles, CPSAINT et FRIESA-K, qui traduit chaque scénario de défaillance d'un agent autonome en une valeur numérique de risque concrète.

Quel problème les auteurs résolvent-ils

L'IA agentique accède à des actions réelles — commandes, paiements, pilotage de robots — plus vite que les méthodes d'évaluation des risques ne parviennent à suivre. Selon la formulation des auteurs, les approches existantes n'offrent que la moitié du tableau, sur deux moitiés possibles : les unes décrivent les mécanismes de défaillance mais ne fournissent pas d'estimation transférable du risque résiduel ; les autres quantifient le risque mais traitent la trajectoire interne de la défaillance comme une boîte noire.

« L'IA agentique franchit les frontières de la confiance plus vite que

les modèles de risque actuels ne peuvent le décrire », selon la formulation des auteurs dans le résumé de l'étude publiée sur arXiv.

CPSAINT et FRIESA-K combinent les deux perspectives : ils décomposent d'abord le système en couches où une défaillance peut se produire, puis associent à chaque trajectoire de défaillance valide une estimation numérique de risque strictement définie. Les auteurs appellent cela la composabilité structurelle — un lien formel entre une trajectoire de défaillance correcte et une « instance de risque » clairement définie.

De quoi le framework est composé

CPSAINT est une décomposition en sept couches de l'intégrité de l'agent, où chaque couche est responsable d'une zone distincte dans laquelle l'intégrité du système peut être violée. Associée au fonctionnel FRIESA-K, elle forme un pipeline « du mécanisme à la magnitude » pour une IA agentique et incarnée (embodied) résiliente.

• Les sept couches de CPSAINT : état physique, capteurs, données, calcul, actionneurs, environnement et temps
• FRIESA-K — le fonctionnel de risque résiduel : chaque trajectoire de défaillance est traduite en une estimation numérique
• Le terme de résistance K est dérivé d'un modèle de Markov absorbant contrôlé, plutôt qu'assigné « à vue de nez »
• L'observabilité de gouvernance est comptabilisée comme une pénalité additive distincte, plutôt que comme une nouvelle variable au sein du fonctionnel
• Validation — sur deux scénarios contrastés : un robot d'entrepôt et un agent financier

Pourquoi le terme de résistance K est important

La caractéristique distinctive clé de FRIESA-K est la façon dont la « résistance » K est calculée, c'est-à-dire l'efficacité des dispositifs de contrôle. Au lieu d'une évaluation d'expert informelle, les auteurs relient K à la dynamique des états du système via un modèle de Markov absorbant contrôlé. L'efficacité du contrôle est ainsi déduite de la façon dont le système transite réellement entre les états et est « absorbé » par la défaillance, plutôt que d'un score subjectif. L'observabilité de gouvernance, quant à elle, est isolée dans une pénalité additive distincte — afin de ne pas mélanger la gouvernabilité du système avec sa résilience technique, ni de laisser l'une se substituer à l'autre au sein de la même formule.

Où le framework a été testé

Le framework a été exécuté sur deux scénarios volontairement différents : un robot d'entrepôt à contraintes temps réel strictes et un agent financier équipé d'outils de gouvernance. Selon les auteurs, dans les deux cas, la même grammaire à sept couches, la même sémantique des variables et la même construction de résistance dynamique ont été préservées. Autrement dit, le même appareil « central » décrit à la fois un robot physique soumis à des exigences temporelles strictes et un agent purement logiciel dans les services financiers — sans réinventer le modèle pour chaque domaine.

Ce que cela signifie

Ces travaux proposent un noyau compact qui relie le mécanisme de défaillance à sa magnitude de risque et permet de raisonner sur la confiance accordée aux agents entre différents domaines dans un langage commun. Pour une industrie où les agents d'IA obtiennent un accès toujours plus large à l'argent et aux actions physiques, une estimation transférable et vérifiable du risque résiduel marque un pas depuis de vagues « scores de sécurité » vers des chiffres adossés à la dynamique des états, et non à l'intuition d'experts.