Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

Standard Bank ускорил проверку ИИ-приложений с двух недель до двух часов

Перед запуском ИИ-приложения банк должен доказать риск-комитету, что оно безопасно, а это две недели ручной проверки документов. Standard Bank Group с AWS поручил сверку кода и ответов приложения с правилами модели-судье. По шести оценкам отчёт готов за два часа, а риск-баллы после доработок выросли на 14%. Командам в регулируемых отраслях стоит превращать политики в автотесты.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Standard Bank ускорил проверку ИИ-приложений с двух недель до двух часов
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Агент на AWS Fargate заранее заполняет анкету из ~40 вопросов по коду
Ключевой факт #2Судья отвечает «да/нет» на 300+ вопросов, каждый привязан к пункту стандарта
Модель-судью меняют правкой настройкиу Bedrock единый API

Представьте, что команда за несколько дней собрала чат-бота на генеративной модели, а выпустить его к клиентам банка не может: сначала риск-комитет должен убедиться, что бот не выдаёт опасных ответов, не нарушает политику и оставляет следы для аудита. Раньше это значило две недели ручной работы: люди читали документы, просматривали код и сами задавали приложению каверзные вопросы. Standard Bank Group вместе с AWS Professional Services автоматизировал именно эту часть.

Теперь языковая модель в роли «судьи» (подход LLM-as-a-judge) проверяет материалы приложения по списку критериев из международных стандартов и внутренних правил банка. По итогам шести оценок полный отчёт о рисках готовится примерно за два часа вместо двух недель, а риск-баллы сценариев после доработок улучшились на 14%. Для команд, которые внедряют ИИ в регулируемых отраслях, это пример того, как не дать согласованию стать самым медленным шагом конвейера.

Что именно построили

Новую политику по ИИ банк не писал. У него уже были практика управления модельными рисками (объяснимость, справедливость) и процесс оценки каждого нового сценария по уровню риска перед запуском. Задача была уже: автоматизировать сбор доказательств и тесты, а результаты подать в существующие «ворота» одобрения. Решение по-прежнему принимает риск-комитет, но смотрит он на единообразные данные, собранные одинаково для всех сценариев.

Всё работает внутри собственного AWS-аккаунта банка. Документы, код и результаты тестов лежат в корзине Amazon S3, анкету ведёт AWS Well-Architected Tool, конвейер оркеструет Step Functions, а оценку делает foundation-модель в Amazon Bedrock. Доступ к ней регулируется через IAM, как у других нагрузок банка. Bedrock не передаёт промпты и ответы провайдерам моделей и не обучает на них модели. Поскольку у Bedrock единый API, на более новую модель-судью можно перейти сменой настройки, не перестраивая конвейер. Это важно, когда модели и инструменты меняются каждые три–шесть месяцев.

Как проходит проверка

Шагов четыре. Сначала агент предварительной оценки на AWS Fargate сканирует репозиторий и документацию, сопоставляет файлы с примерно 40 вопросами анкеты (например, «неполная техническая документация» или «недостаточный человеческий надзор») и заполняет её со ссылками на доказательства. Команда разработки проверяет ответы, исправляет ошибки и добавляет то, что агент не нашёл.

Дальше конвейер изучает четыре вида материалов: документацию системы, политики (роли, процедуры обработки инцидентов), исходный код с системным промптом и живое поведение приложения. Для живых тестов он вызывает приложение через Lambda или API. Вопросы обычного пользователя даёт команда, а конвейер добавляет встроенный набор джейлбрейков и вопросов не по теме, на которые приложение должно отказывать. Один и тот же запрос отправляется несколько раз в исходной и переформулированной версиях, а embedding-модель проверяет, что смысл ответов остаётся прежним. Все ответы сохраняются в S3, чтобы ревьюеры видели, что именно сгенерировало приложение.

Затем судья без дообучения и кастомизации отвечает «да» или «нет» на узкие вопросы: есть ли в материалах конкретное доказательство. Каждый вопрос привязан к пункту международного стандарта по управлению, рискам или безопасности ИИ. Банк добавил вопросы из собственных стандартов, и всего их стало больше 300. Они охватывают восемь измерений ответственного ИИ от AWS: достоверность и устойчивость, приватность и безопасность, прозрачность, справедливость, безопасность, управляемость, governance и объяснимость.

Баллы считает не модель, а фиксированная формула, которую риск-команда может проверить. Вероятность риска равна доле не найденных доказательств, серьёзность задаётся уровнем, который риск-команда может менять, а итоговая оценка лежит в шкале от «Очень низкий» до «Критический». Каждая недостающая деталь связана с конкретной мерой и с пунктом стандарта или политики, так что любой вывод риск-офицер может объяснить регулятору. Каждая оценка запускается несколько раз, а нестабильные выводы помечаются в интерфейсе ревью. Вызовы модели проходят через Bedrock Guardrails.

Результат выдаётся в четырёх форматах: презентация для руководства, чек-лист мер, подробный технический отчёт и дашборд в CloudWatch, который показывает динамику баллов по сценариям.

Политика как тест и оговорки

Самая практичная идея здесь — «фабрика вопросов». Она генерирует дополнительные вопросы для судьи прямо из внутренних документов банка. Допустим, в политике изменилось требование к обработке инцидентов: вместо рассылки памятки меняется проверка, и все следующие оценки применяют новое правило автоматически.

На этапе proof of concept оценка необязательна и показывает пробелы заранее, на этапе сборки она обязательна и входит в формальные доказательства для комитета. Сейчас она работает в продакшн-среде перед запуском. Повторные запуски по расписанию и при изменении кода или конфигурации запланированы после подключения боевых нагрузок.

Оговорки стоит помнить. Это пост самого AWS, выборка из шести оценок мала, а независимых подтверждений нет. Система собирает доказательства, а не сертифицирует соответствие закону: ответственность за регуляторные решения остаётся за банком. Судья остаётся языковой моделью, поэтому банк сводит его работу к узким вопросам «да/нет» с повторными прогонами.

Практический вывод: начинайте с уже существующих процессов, переводите политики в проверяемые тесты и запускайте их на этапе прототипа, когда исправления дешевле всего. Тогда рост числа ИИ-приложений не требует пропорционального роста штата ревьюеров.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно построили?

Новую политику по ИИ банк не писал. У него уже были практика управления модельными рисками (объяснимость, справедливость) и процесс оценки каждого нового сценария по уровню риска перед запуском. Задача была уже: автоматизировать сбор доказательств и тесты, а результаты подать в существующие «ворота» одобрения. Решение по-прежнему принимает риск-комитет, но смотрит он на единообразные данные, собранные одинаково для всех сценариев. Всё работает внутри собственного AWS-аккаунта банка.

Что известно по теме: как проходит проверка?

Шагов четыре. Сначала агент предварительной оценки на AWS Fargate сканирует репозиторий и документацию, сопоставляет файлы с примерно 40 вопросами анкеты (например, «неполная техническая документация» или «недостаточный человеческий надзор») и заполняет её со ссылками на доказательства. Команда разработки проверяет ответы, исправляет ошибки и добавляет то, что агент не нашёл.

Что известно по теме: политика как тест и оговорки?

Самая практичная идея здесь — «фабрика вопросов». Она генерирует дополнительные вопросы для судьи прямо из внутренних документов банка. Допустим, в политике изменилось требование к обработке инцидентов: вместо рассылки памятки меняется проверка, и все следующие оценки применяют новое правило автоматически. На этапе proof of concept оценка необязательна и показывает пробелы заранее, на этапе сборки она обязательна и входит в формальные доказательства для комитета.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…