Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAPI / Produit · Prêt à l'emploiAWS Machine Learning Blog→ original

Standard Bank ramène la vérification de ses applications d'IA de deux semaines à deux heures

Avant de lancer une application d'IA, une banque doit prouver à son comité des risques qu'elle est sûre. Cela représente deux semaines de vérification manuelle de documents. Standard Bank Group a confié à un modèle « juge », avec AWS, la confrontation du code et des réponses de l'application aux règles. Sur six évaluations, le rapport est prêt en deux heures, et les scores de risque ont progressé de 14% après correctifs. Les équipes des secteurs régulés ont intérêt à transformer leurs politiques en tests automatisés.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Standard Bank ramène la vérification de ses applications d'IA de deux semaines à deux heures
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Chiffre clé #1Un agent sur AWS Fargate pré-remplit à partir du code un questionnaire d'environ 40 questions
Chiffre clé #2Le juge répond par « oui/non » à plus de 300 questions, chacune rattachée à un point d'une norme
Chiffre clé #3Changer de modèle juge se résume à modifier un paramètre : Bedrock expose une API unique

Imaginez qu'une équipe ait monté en quelques jours un chatbot reposant sur un modèle génératif, mais ne puisse pas le mettre à disposition des clients de la banque. Le comité des risques doit d'abord s'assurer que le bot ne produit pas de réponses dangereuses, qu'il respecte la politique de la banque et qu'il laisse des traces pour l'audit. Jusqu'ici, cela signifiait deux semaines de travail manuel : des personnes lisaient les documents, passaient le code en revue et posaient elles-mêmes des questions pièges à l'application.

Standard Bank Group a automatisé cette étape avec AWS Professional Services. Désormais, un modèle de langage jouant le rôle de « juge » (approche LLM-as-a-judge) examine les éléments de l'application au regard d'une liste de critères tirés de normes internationales et des règles internes de la banque. Sur six évaluations, le rapport de risques complet est produit en deux heures environ au lieu de deux semaines, et les scores de risque des scénarios ont progressé de 14% après correctifs.

Pour les équipes qui déploient de l'IA dans des secteurs régulés, c'est une façon d'éviter que la validation ne devienne l'étape la plus lente de la chaîne.

Ce qui a été construit

La banque n'a pas rédigé de nouvelle politique sur l'IA. Elle disposait déjà d'une pratique de gestion des risques liés aux modèles (explicabilité, équité) et d'un processus d'évaluation de chaque nouveau scénario selon son niveau de risque avant le lancement. L'objectif était plus restreint : automatiser la collecte des preuves et les tests, puis alimenter les « portes » d'approbation existantes avec les résultats. La décision reste entre les mains du comité des risques, mais celui-ci s'appuie sur des données homogènes, collectées de la même manière pour tous les scénarios.

Tout fonctionne dans le compte AWS propre de la banque. Les documents, le code et les résultats des tests sont stockés dans un bucket Amazon S3, le questionnaire est géré par AWS Well-Architected Tool, le pipeline est orchestré par Step Functions, et l'évaluation est réalisée par un foundation model dans Amazon Bedrock. L'accès à ce modèle est contrôlé via IAM, comme pour les autres charges de travail de la banque.

Bedrock ne transmet ni les prompts ni les réponses aux fournisseurs de modèles, et ne s'en sert pas pour entraîner des modèles. Comme Bedrock expose une API unique, il suffit de modifier un paramètre pour passer à un modèle juge plus récent, sans reconstruire le pipeline. C'est précieux quand les modèles et les outils changent tous les trois à six mois.

Comment se déroule la vérification

Le processus comprend quatre étapes. D'abord, un agent d'évaluation préliminaire, exécuté sur AWS Fargate, scanne le dépôt de code et la documentation. Il associe les fichiers à environ 40 questions du questionnaire (par exemple « documentation technique incomplète » ou « supervision humaine insuffisante »), puis le remplit en citant les preuves. L'équipe de développement vérifie les réponses, corrige les erreurs et ajoute ce que l'agent n'a pas trouvé.

Ensuite, le pipeline examine quatre types d'éléments : la documentation du système, les politiques (rôles, procédures de traitement des incidents), le code source avec le prompt système, et le comportement réel de l'application. Pour les tests en conditions réelles, il appelle l'application via Lambda ou via son API. L'équipe fournit les questions d'un utilisateur ordinaire, et le pipeline y ajoute un jeu intégré de jailbreaks et de questions hors sujet, auxquelles l'application doit refuser de répondre.

Une même requête est envoyée plusieurs fois, dans sa version d'origine et dans une version reformulée, et un modèle d'embedding vérifie que le sens des réponses reste identique. Toutes les réponses sont enregistrées dans S3, afin que les relecteurs voient exactement ce que l'application a généré.

Le juge, sans fine-tuning ni personnalisation, répond ensuite par « oui » ou « non » à des questions précises : les éléments contiennent-ils une preuve concrète ? Chaque question est rattachée à un point d'une norme internationale de gouvernance, de gestion des risques ou de sécurité de l'IA. La banque y a ajouté des questions issues de ses propres standards, ce qui porte le total à plus de 300. Elles couvrent les huit dimensions de l'IA responsable selon AWS : fiabilité et robustesse, confidentialité et sécurité, transparence, équité, sûreté, contrôlabilité, gouvernance et explicabilité.

Ce n'est pas le modèle qui calcule les scores, mais une formule fixe que l'équipe risques peut vérifier. La probabilité de risque correspond à la part des preuves introuvables. La gravité est définie par un niveau que l'équipe risques peut modifier. Le score final se situe sur une échelle allant de « Très faible » à « Critique ». Chaque élément manquant est lié à une mesure précise et à un point d'une norme ou d'une politique, si bien que le responsable des risques peut expliquer n'importe quelle conclusion au régulateur. Chaque évaluation est lancée plusieurs fois, et les résultats instables sont signalés dans l'interface de relecture. Les appels au modèle passent par Bedrock Guardrails.

Le résultat est livré sous quatre formats : une présentation pour la direction, une checklist de mesures, un rapport technique détaillé et un dashboard CloudWatch qui montre l'évolution des scores par scénario.

La politique comme test, et les réserves

L'idée la plus concrète est la « fabrique de questions ». Elle génère des questions supplémentaires pour le juge directement à partir des documents internes de la banque. Si, par exemple, l'exigence de traitement des incidents change dans la politique, on modifie la vérification au lieu de diffuser une note : toutes les évaluations suivantes appliquent automatiquement la nouvelle règle.

Au stade du proof of concept, l'évaluation est facultative et révèle les lacunes en amont. Au stade de la construction, elle est obligatoire et fait partie des preuves formelles présentées au comité. Elle tourne actuellement dans l'environnement de production, avant le lancement. Des exécutions répétées, planifiées ou déclenchées par une modification du code ou de la configuration, sont prévues une fois les charges de production connectées.

Il faut garder des réserves en tête. Il s'agit d'un billet publié par AWS lui-même, l'échantillon de six évaluations est faible et il n'existe aucune confirmation indépendante. Le système collecte des preuves, mais ne certifie pas la conformité à la loi : la responsabilité des décisions réglementaires reste à la banque. Le juge demeure un modèle de langage ; la banque limite donc son travail à des questions étroites « oui/non », avec des exécutions répétées.

En pratique : partez des processus existants, transformez les politiques en tests vérifiables et lancez-les dès le stade du prototype, quand les corrections coûtent le moins cher. La multiplication des applications d'IA n'exige alors pas une hausse proportionnelle des effectifs de relecteurs.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été construit ?

La banque n'a pas rédigé de nouvelle politique sur l'IA. Elle disposait déjà d'une pratique de gestion des risques liés aux modèles (explicabilité, équité) et d'un processus d'évaluation de chaque nouveau scénario selon son niveau de risque avant le lancement. L'objectif était plus restreint : automatiser la collecte des preuves et les tests, puis alimenter les « portes » d'approbation existantes avec les résultats.

Comment se déroule la vérification?

Le processus comprend quatre étapes. D'abord, un agent d'évaluation préliminaire, exécuté sur AWS Fargate, scanne le dépôt de code et la documentation. Il associe les fichiers à environ 40 questions du questionnaire (par exemple « documentation technique incomplète » ou « supervision humaine insuffisante »), puis le remplit en citant les preuves. L'équipe de développement vérifie les réponses, corrige les erreurs et ajoute ce que l'agent n'a pas trouvé.

Que sait-on sur La politique comme test, et les réserves ?

L'idée la plus concrète est la « fabrique de questions ». Elle génère des questions supplémentaires pour le juge directement à partir des documents internes de la banque. Si, par exemple, l'exigence de traitement des incidents change dans la politique, on modifie la vérification au lieu de diffuser une note : toutes les évaluations suivantes appliquent automatiquement la nouvelle règle. Au stade du proof of concept, l'évaluation est facultative et révèle les lacunes en amont.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
Qu'en pensez-vous ?
Chargement des commentaires…