Standard Bank ускорил проверку ИИ-приложений с двух недель до двух часов
Перед запуском ИИ-приложения банк должен доказать риск-комитету, что оно безопасно, а это две недели ручной проверки документов. Standard Bank Group с AWS поручил сверку кода и ответов приложения с правилами модели-судье. По шести оценкам отчёт готов за два часа, а риск-баллы после доработок выросли на 14%. Командам в регулируемых отраслях стоит превращать политики в автотесты.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Представьте, что команда за несколько дней собрала чат-бота на генеративной модели, а выпустить его к клиентам банка не может: сначала риск-комитет должен убедиться, что бот не выдаёт опасных ответов, не нарушает политику и оставляет следы для аудита. Раньше это значило две недели ручной работы: люди читали документы, просматривали код и сами задавали приложению каверзные вопросы. Standard Bank Group вместе с AWS Professional Services автоматизировал именно эту часть.
Теперь языковая модель в роли «судьи» (подход LLM-as-a-judge) проверяет материалы приложения по списку критериев из международных стандартов и внутренних правил банка. По итогам шести оценок полный отчёт о рисках готовится примерно за два часа вместо двух недель, а риск-баллы сценариев после доработок улучшились на 14%. Для команд, которые внедряют ИИ в регулируемых отраслях, это пример того, как не дать согласованию стать самым медленным шагом конвейера.
Что именно построили
Новую политику по ИИ банк не писал. У него уже были практика управления модельными рисками (объяснимость, справедливость) и процесс оценки каждого нового сценария по уровню риска перед запуском. Задача была уже: автоматизировать сбор доказательств и тесты, а результаты подать в существующие «ворота» одобрения. Решение по-прежнему принимает риск-комитет, но смотрит он на единообразные данные, собранные одинаково для всех сценариев.
Всё работает внутри собственного AWS-аккаунта банка. Документы, код и результаты тестов лежат в корзине Amazon S3, анкету ведёт AWS Well-Architected Tool, конвейер оркеструет Step Functions, а оценку делает foundation-модель в Amazon Bedrock. Доступ к ней регулируется через IAM, как у других нагрузок банка. Bedrock не передаёт промпты и ответы провайдерам моделей и не обучает на них модели. Поскольку у Bedrock единый API, на более новую модель-судью можно перейти сменой настройки, не перестраивая конвейер. Это важно, когда модели и инструменты меняются каждые три–шесть месяцев.
Как проходит проверка
Шагов четыре. Сначала агент предварительной оценки на AWS Fargate сканирует репозиторий и документацию, сопоставляет файлы с примерно 40 вопросами анкеты (например, «неполная техническая документация» или «недостаточный человеческий надзор») и заполняет её со ссылками на доказательства. Команда разработки проверяет ответы, исправляет ошибки и добавляет то, что агент не нашёл.
Дальше конвейер изучает четыре вида материалов: документацию системы, политики (роли, процедуры обработки инцидентов), исходный код с системным промптом и живое поведение приложения. Для живых тестов он вызывает приложение через Lambda или API. Вопросы обычного пользователя даёт команда, а конвейер добавляет встроенный набор джейлбрейков и вопросов не по теме, на которые приложение должно отказывать. Один и тот же запрос отправляется несколько раз в исходной и переформулированной версиях, а embedding-модель проверяет, что смысл ответов остаётся прежним. Все ответы сохраняются в S3, чтобы ревьюеры видели, что именно сгенерировало приложение.
Затем судья без дообучения и кастомизации отвечает «да» или «нет» на узкие вопросы: есть ли в материалах конкретное доказательство. Каждый вопрос привязан к пункту международного стандарта по управлению, рискам или безопасности ИИ. Банк добавил вопросы из собственных стандартов, и всего их стало больше 300. Они охватывают восемь измерений ответственного ИИ от AWS: достоверность и устойчивость, приватность и безопасность, прозрачность, справедливость, безопасность, управляемость, governance и объяснимость.
Баллы считает не модель, а фиксированная формула, которую риск-команда может проверить. Вероятность риска равна доле не найденных доказательств, серьёзность задаётся уровнем, который риск-команда может менять, а итоговая оценка лежит в шкале от «Очень низкий» до «Критический». Каждая недостающая деталь связана с конкретной мерой и с пунктом стандарта или политики, так что любой вывод риск-офицер может объяснить регулятору. Каждая оценка запускается несколько раз, а нестабильные выводы помечаются в интерфейсе ревью. Вызовы модели проходят через Bedrock Guardrails.
Результат выдаётся в четырёх форматах: презентация для руководства, чек-лист мер, подробный технический отчёт и дашборд в CloudWatch, который показывает динамику баллов по сценариям.
Политика как тест и оговорки
Самая практичная идея здесь — «фабрика вопросов». Она генерирует дополнительные вопросы для судьи прямо из внутренних документов банка. Допустим, в политике изменилось требование к обработке инцидентов: вместо рассылки памятки меняется проверка, и все следующие оценки применяют новое правило автоматически.
На этапе proof of concept оценка необязательна и показывает пробелы заранее, на этапе сборки она обязательна и входит в формальные доказательства для комитета. Сейчас она работает в продакшн-среде перед запуском. Повторные запуски по расписанию и при изменении кода или конфигурации запланированы после подключения боевых нагрузок.
Оговорки стоит помнить. Это пост самого AWS, выборка из шести оценок мала, а независимых подтверждений нет. Система собирает доказательства, а не сертифицирует соответствие закону: ответственность за регуляторные решения остаётся за банком. Судья остаётся языковой моделью, поэтому банк сводит его работу к узким вопросам «да/нет» с повторными прогонами.
Практический вывод: начинайте с уже существующих процессов, переводите политики в проверяемые тесты и запускайте их на этапе прототипа, когда исправления дешевле всего. Тогда рост числа ИИ-приложений не требует пропорционального роста штата ревьюеров.
- 20 нояб. 2026 г.Капитализация Anthropic на IPO превысила $2 трлн — в 3,5 раза больше рынка акций РФ
- 20 нояб. 2026 г.AWS открыла в 15 странах услугу внедрения ИИ: из прототипа в продакшен за 45 дней
- 20 нояб. 2026 г.Unsiloed привлёк $7,5 млн на чтение PDF для ИИ-агентов: 99,78% верных значений в тесте
- 20 нояб. 2026 г.AWS добавила в SageMaker AI авторазметку и синтетические данные для обучения моделей
Вопросы и ответы по материалу
Что известно по теме: что именно построили?
Новую политику по ИИ банк не писал. У него уже были практика управления модельными рисками (объяснимость, справедливость) и процесс оценки каждого нового сценария по уровню риска перед запуском. Задача была уже: автоматизировать сбор доказательств и тесты, а результаты подать в существующие «ворота» одобрения. Решение по-прежнему принимает риск-комитет, но смотрит он на единообразные данные, собранные одинаково для всех сценариев. Всё работает внутри собственного AWS-аккаунта банка.
Что известно по теме: как проходит проверка?
Шагов четыре. Сначала агент предварительной оценки на AWS Fargate сканирует репозиторий и документацию, сопоставляет файлы с примерно 40 вопросами анкеты (например, «неполная техническая документация» или «недостаточный человеческий надзор») и заполняет её со ссылками на доказательства. Команда разработки проверяет ответы, исправляет ошибки и добавляет то, что агент не нашёл.
Что известно по теме: политика как тест и оговорки?
Самая практичная идея здесь — «фабрика вопросов». Она генерирует дополнительные вопросы для судьи прямо из внутренних документов банка. Допустим, в политике изменилось требование к обработке инцидентов: вместо рассылки памятки меняется проверка, и все следующие оценки применяют новое правило автоматически. На этапе proof of concept оценка необязательна и показывает пробелы заранее, на этапе сборки она обязательна и входит в формальные доказательства для комитета.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.