Кредитный ИИ-агент меняет только обвязку: гейт пропустил 144 из 7449 правок

Самообучающийся LLM-агент в кредитном пайплайне умеет подстроиться под новое толкование правил. Но если он переписывает сам себя, надзорный орган теряет то, что должен проверять: именованное изменение, зафиксированный тест, подпись об одобрении. Авторы новой работы на arXiv предлагают жёсткое ограничение. Эволюционировать может только обвязка агента, а веса модели заморожены. В симуляции из 7449 кандидатных правок гейт допуска пропустил 144, и ни одна не ухудшила ошибку на отложенной истории. Контрольная версия с проверкой, которую применяет неограниченная система, пропустила 309 вредных изменений.

Что именно разрешено менять

Обвязка (harness) в статье включает три слоя: текст инструкций, логику вызова инструментов и композицию примитивов. Всё остальное неприкосновенно. Смысл в том, что любая адаптация превращается в diff с причиной и привязанным тестом. Рецензенту не нужно разбирать поведение модели, он читает конкретную правку.

На этом ограничении построен двухконтурный движок. Все кандидаты проходят через один гейт допуска, и тот записывает хеш-цепочечную запись до деплоя. Запись нельзя задним числом подправить так, чтобы цепочка осталась целой. Для аудитора это готовый след: что изменили, почему и по какому тесту пропустили.

Что показала симуляция

Основная оговорка: гейт измеряли на симулированном агенте, а предлагал правки не языковой модель, а поиск с фиксированным зерном. Это проверка механизма допуска, а не поведения живых LLM. Схема эксперимента: три семейства надзорной переинтерпретации правил, три уровня серьёзности, по 10 прогонов на ячейку, то есть 90 прогонов на конфигурацию.

• Гейт допустил 144 из 7449 кандидатных изменений.
• Ни одна из допущенных правок не ухудшила ошибку на отложенной истории.
• В каждой ячейке с низкой и средней серьёзностью доля ложных срабатываний вернулась к уровню оракула без роста пропущенных флагов.
• При замене гейта на типовую проверку («меньше ошибок на свежих трассах») допущено 309 вредных изменений.
• В этом режиме пропущенные флаги превысили 10% в 49 из 90 прогонов.

Последний пункт показывает механику сбоя. Ложные срабатывания в такой системе падали не потому, что агент стал точнее. Он просто ослабил фильтр, и ошибки на свежих трассах уменьшились ценой пропущенных проблемных случаев.

Есть и неочевидный результат. Если оценивать кандидатов по разметке до сдвига, гейт отклонил всех. Новое толкование правил должно быть закодировано как правило, которое перемаркирует историю. Иначе проверка сравнивает агента с устаревшей истиной и блокирует верные правки.

Где гейт упирается в потолок

Параметрические сдвиги и сдвиги области применения агент чинил локально. Структурный сдвиг лечился только заменой примитива. На самом высоком уровне структурной серьёзности фиксированный допуск гейта заблокировал правильную замену в половине прогонов. Консервативность, которая спасает от вредных правок, здесь стоит полезной. Допуск, судя по всему, придётся настраивать отдельно для структурных изменений.

Авторы также сопоставляют механизмы с требованиями EU AI Act к высокорисковому кредитному скорингу. Отдельно они отмечают, что американские рекомендации по управлению модельным риском от апреля 2026 года агентный ИИ из своей области действия исключают. Регуляторная рамка для таких систем в США остаётся пустой, и аудируемость приходится строить самим.

Как применять это на практике

Команде, которая внедряет агентов в скоринг или комплаенс, стоит зафиксировать границу изменяемого заранее: инструкции, инструменты и композиция примитивов в репозитории, веса вне зоны правок. Каждое изменение должно иметь причину, тест и запись в неизменяемом журнале до выкатки. Критерий допуска надо считать на истории, перемаркированной по новому правилу, и отдельно следить за пропущенными флагами, а не только за ложными срабатываниями. Допуск для замены примитивов нужно калибровать отдельно и заранее договориться, кто принимает решение, когда гейт блокирует верную правку. Результаты получены в симуляции, так что перед продом нужен прогон с реальными LLM-предложениями.