Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизНаучная статья · В песочницуAWS Machine Learning Blog→ оригинал

AWS разбила внедрение ответственного ИИ для агентов на 3 фазы за 12 недель

Агент сам выбирает инструменты и действует в несколько шагов, поэтому проверки одной модели мало. AWS предлагает план на 12 недель из трёх фаз: правила и реестр, пилот с защитой, проверка на предвзятость. В немецкой финкомпании одна ошибка классификации обернулась нарушениями политик в трёх сервисах. Начните с реестра агентов с владельцем и уровнем риска.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AWS разбила внедрение ответственного ИИ для агентов на 3 фазы за 12 недель
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Фаза 1риск каждого сценария оценивают от низкого до недопустимого
Фаза 2фильтры персональных данных и передача спорных решений человеку
Фаза 3тесты на справедливость по бенчмаркам CEB и HELM

Раньше «ответственный ИИ» означал в основном проверку самой модели: обучили, прогнали через известные тесты, выпустили. С агентами этого мало. Они рассуждают, сами подбирают инструменты и действуют в несколько шагов, поэтому ошибка одного агента может разойтись по другим сервисам. AWS опубликовала краткую дорожную карту, как внедрять контроль постепенно: три фазы, которые укладываются в настраиваемый график на 12 недель. Представьте приложение для недвижимости, которое пишет объявления по найденным данным. Оно может выдумать у квартиры балкон, которого нет. Или агент поддержки, подключённый к внутренней базе знаний, может выдать конфиденциальную информацию. Карта показывает, какие проверки вводить и в каком порядке. Это материал вендора, и часть рекомендаций привязана к сервисам Amazon Bedrock, но сама структура полезна и без AWS.

Зачем нужна карта и кому она адресована

AWS делит команды на две роли. Платформенная команда управляет общей платформой для агентов и задаёт ограничители. Продуктовые команды (их ещё называют Workstream teams) строят на этой платформе своих агентов и работают внутри заданных рамок. Обе роли должны говорить на одном языке и понимать, на каком этапе они находятся.

По опыту клиентов AWS, повторяются четыре проблемы:

  • Непредсказуемое поведение. В финансовой компании из Германии мультиагентная оркестрация превратила одну ошибку классификации в нарушения политик сразу в трёх нижестоящих сервисах.
  • Границы данных и полномочий. У каждого агента должны быть права только на свои тенанты, данные, системы и действия, причём такие, которые он не может расширить сам.
  • Скорость регулирования. EU AI Act, ISO 42001 и NIST AI RMF появляются быстрее, чем успевает адаптироваться управление. Доказывать соответствие нужно непрерывной оценкой по заранее заданному графику: ежедневно, еженедельно или ежемесячно.
  • Размытая ответственность. В британской медиакомпании не определено разделение обязанностей между разработкой и выкаткой агентов. Платформа делает ограничители, которые продуктовые команды обходят, а те в свою очередь перекладывают на платформу то, за что отвечают сами.

Три фазы

Фаза 1. Фундамент управления. Главные направления: управление и безопасность с приватностью. Продуктовые команды оценивают риск каждого планируемого сценария по шкале «низкий / средний / высокий / недопустимый» с учётом требований вроде EU AI Act и фиксируют, какие меры включает каждый уровень. Платформенная команда настраивает базовую инфраструктуру: мониторинг и контроль доступа. Модели проходят проверку на безопасность и надёжность, а одобренные заносят в каталог с учётом возможностей, задержки и стоимости. Главное правило: любой агент, инструмент или навык регистрируется с владельцем, уровнем риска и регуляторным охватом. Чего нет в реестре, того организация не найдёт и не сможет контролировать.

Фаза 2. Пилот. Запускают первого агента с измеримой пользой. Платформа даёт шаблоны, фильтры для скрытия персональных данных на входе и выходе модели и готовые правила ограничителей. Продуктовые команды сами задают пороги модерации под свой сценарий. Они же включают проверки обоснованности ответов: даже с правильным контекстом модель может исказить источник. Для регулируемых случаев AWS советует автоматизированные рассуждения. Для рискованных действий нужен человек в цепочке: агент передаёт решение ревьюеру при низкой уверенности, срабатывании ограничителя или значимом решении, а такие передачи пишутся в журнал для аудита. Добавляются трассировка на уровне сессий и вызовов инструментов и доступ по принципу наименьших привилегий.

Фаза 3. Оценка и усиление. Теперь нужно показать результат регулятору, аудитору или совету директоров. Если в карточке модели нет метрик справедливости, предвзятость проверяют самостоятельно на бенчмарках CEB и HELM. Затем оценивают маршрутизацию агента целиком, включая выбор инструментов, и настраивают автоматический контроль дрейфа справедливости при обновлении моделей и источников данных. В разделе о прозрачности AWS предлагает машиночитаемые метки происхождения контента и обязательное раскрытие того, что пользователь общается с ИИ.

Что учесть

В исходном тексте пошаговых инструкций нет, а юридической консультацией он не является. К посту прилагается «навык» оценки ответственного ИИ и опросник для самооценки команд. Дошедший до нас фрагмент обрывается на теме аудита решений в разделе о прозрачности.

Практический вывод: заведите реестр агентов до первого пилота и впишите туда владельца и уровень риска. Заранее определите, при каких условиях агент обязан передать решение человеку. Договоритесь, какие защитные слои обеспечивает платформа, а какие остаются за продуктовой командой. Для примера AWS приводит Robinhood: агент по финансовым преступлениям на Bedrock с жёстким управлением данными дал 20% прироста эффективности при соблюдении требований регуляторов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: зачем нужна карта и кому она адресована?

AWS делит команды на две роли. Платформенная команда управляет общей платформой для агентов и задаёт ограничители. Продуктовые команды (их ещё называют Workstream teams) строят на этой платформе своих агентов и работают внутри заданных рамок. Обе роли должны говорить на одном языке и понимать, на каком этапе они находятся. По опыту клиентов AWS, повторяются четыре проблемы: Непредсказуемое поведение.

Что известно по теме: три фазы?

Фаза 1. Фундамент управления. Главные направления: управление и безопасность с приватностью. Продуктовые команды оценивают риск каждого планируемого сценария по шкале «низкий / средний / высокий / недопустимый» с учётом требований вроде EU AI Act и фиксируют, какие меры включает каждый уровень. Платформенная команда настраивает базовую инфраструктуру: мониторинг и контроль доступа. Модели проходят проверку на безопасность и надёжность, а одобренные заносят в каталог с учётом возможностей, задержки и стоимости.

Что известно по теме: что учесть?

В исходном тексте пошаговых инструкций нет, а юридической консультацией он не является. К посту прилагается «навык» оценки ответственного ИИ и опросник для самооценки команд. Дошедший до нас фрагмент обрывается на теме аудита решений в разделе о прозрачности. Практический вывод: заведите реестр агентов до первого пилота и впишите туда владельца и уровень риска. Заранее определите, при каких условиях агент обязан передать решение человеку.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…