MLCommons запустила AILuminate: как теперь оценить ИИ-риски в деньгах

Риск уже в бухгалтерии

Теория управления ИИ-рисками — это не новая философия. Любая зрелая организация уже крутит цикл управления рисками: выявляет уязвимости, оценивает ожидаемые потери, применяет контроли пропорционально размеру риска, отчитывается тому, кто за это отвечает. Страховщики это ценят, аудиторы это тестируют, советы директоров это подписывают.

Но стоимость отказов растёт. Исследование IBM Cost of a Data Breach 2025 года показало: средняя стоимость утечки данных $4.44 млн глобально и рекордные $10.22 млн в США. 63% взломанных организаций либо вообще не имели политики управления ИИ, либо её писали. Компании с развитым «теневым ИИ» — когда системы внедряют хаотично и без учёта — теряют на $670 тыс. больше в среднем.

Регуляция добавляет штрафов. GDPR и CCPA, эти стандарты придуманы ещё до генеративного ИИ, уже жёстко ограничивают, какие решения может принимать ИИ-система. EU AI Act предусматривает штрафы до €35 млн или 7% глобального оборота — это стимулирует проактивное управление рисками.

Как авиация стала безопасной

Выгода от хорошего управления новым риском — не только избежать потерь. Это здоровье всей отрасли. В 1959 году коммерческая авиация США имела примерно 40 фатальных происшествий на миллион вылетов. За десятилетие упала ниже 2. За последние 50 лет показатель продолжил падать примерно вдвое каждое десятилетие.

Авиация стала безопасной потому, что отрасль построила систему управления рисками и постоянно её совершенствовала. Измерения создали доверие, а доверие позволило считать полёты рутиной. Несколько миллиардов пассажиров в год плюс страховщики и кредиторы более 30 тысяч коммерческих самолётов теперь относятся к полётам как к обыденности.

Конец самопроверке

Управление ИИ-рисками требует честных измерений. Фармкомпании не сами судят свои клинические испытания. Публичные компании не сами аудируют свои финансовые отчёты.

Но в ИИ-индустрии вендоры до сих пор выставляют себе оценки, запускают свои бенчмарки и сообщают свои результаты. Случай с кодревью: вендор запустил свой бенчмарк и получил 82% точности ловли багов; конкурент пересчитал на тех же хранилищах — 45%; когда независимая лаборатория создала собственный бенчмарк, ни один вендор не превысил 63%. Продукты не менялись.

MalCommons в декабре 2024 запустила AILuminate — семейство независимых бенчмарков с консенсусным управлением, которые оценивают, насколько надёжно ИИ-система избегает вредоносных ответов. Их создают рабочие группы с участием ИИ-компаний, академии и гражданского общества. Вендоры не писали свой экзамен, не видят вопросы и не держат в руках оценочный лист.

Что делать с оценками

Оценки по каждому типу вреда показывают, где концентрируется риск для вашего варианта использования. Это сырой материал для реестра рисков.

Результаты определяют контроли. Если система теряет в оценке при состязательном давлении — это конкретное, подкреплённое доказательствами указание на то, чтобы выстроить защиты на уровне системы, а не расплывчатый мандат «будьте осторожны».

Тестируйте свою конфигурацию. Это пункт, который большинство программ пропускает. Как покупатель системы, тестируйте именно то, что развернёте, используя тот же тест, что и вендор. Оценка должна отражать реальную работу с вашей интеграцией — это разница между расходом топлива на этикетке авто и расходом на вашей дороге. Этикетка описывает конвейер, а не ваш коммут.

Agent Reliability Profile

Модельная оценка показывает, как работает модель с конвейера. Но ничего не говорит, как она будет работать при развёртывании. Большинство компаний развёртывают не сырые модели, а обвязанные: в промпты, подключённые к внутренним данным, с инструментами, иногда работающие как агенты. Именно эта обвязка делает модель полезной — и хрупкой.

MalCommons' финансовый рабочий стол разработал Agent Reliability Profile — артефакт по каждому агенту, который записывает конкретное, опровержимое заявление: данная система надёжно работает на указанном уровне автономии, в указанной проектной области операций, под указанной оболочкой контроля. Не «вайб» про то, насколько «надёжен» агент, а конкретное заявление, которое может проверить аудитор или страховщик. Этот профиль был финалистом CDIR hackathon.

Обращайтесь с ИИ как с любым другим риском

ИИ-риск можно выявить, оценить в деньгах, управлять пропорционально и отчитать — как компании делают с кредитными рисками, валютной экспозицией и техникой безопасности десятки лет. Это не тормоз для внедрения ИИ, а условие для него. Риск уже в ваших книгах. Вопрос только в том, будете ли вы его измерять.