Институт Алана Тьюринга обошёл защиту ИИ-моделей, замаскировав запросы под рабочие задачи

Исследователи из Института имени Алана Тьюринга обнаружили новый способ обхода защитных механизмов ИИ-моделей: запрещённые запросы, на которые модель отказывается отвечать напрямую, можно замаскировать под обычную задачу для ИИ-агента, помогающего писать программный код — и в этом случае фильтры срабатывают не всегда, говорится в опубликованной ими работе.

В чём суть обхода

Современные ИИ-модели обучены отказывать в ответах на явно недопустимые запросы — например, связанные с созданием вредоносного кода. Но эти защитные механизмы в первую очередь настроены распознавать прямые формулировки запроса, заданные напрямую в чате. Исследователи показали, что если такой запрос переформулировать как один из пунктов рабочего списка задач для ИИ-агента, который помогает программировать, модель с большей вероятностью выполнит его, не распознав как недопустимый.

• Уязвимость обнаружили исследователи Института имени Алана Тьюринга
• Метод обхода — маскировка запрещённого запроса под задачу для ИИ-агента-программиста
• Работа опубликована в виде отдельного PDF-документа
• Проблема касается моделей, которые в диалоговом режиме обычно отказывают в прямых недопустимых запросах

Что такое Институт Алана Тьюринга

Институт имени Алана Тьюринга — национальный британский научный центр по данным и искусственному интеллекту со штаб-квартирой в Лондоне. Он регулярно публикует исследования на стыке безопасности ИИ и практического применения моделей, в том числе работы, посвящённые тому, как злоумышленники могут обходить встроенные ограничения коммерческих чат-ботов и агентных систем.

Почему это опасно для ИИ-агентов

За последние пару лет ИИ-агенты для программирования — инструменты, которые самостоятельно выполняют цепочки задач без постоянного контроля человека, — стали массовым явлением: разработчики поручают им целые списки дел вместо отдельных разовых запросов. Именно эта автономность и создаёт лазейку: если вредоносная задача незаметно затесалась среди легитимных пунктов списка, агент может выполнить её одну за другой вместе с остальными, а человек, в отличие от обычного диалога с чат-ботом, не увидит и не оценит каждый шаг по отдельности перед выполнением.

Как индустрия обычно защищается от таких обходов

Подобные находки называют джейлбрейками — методами обхода встроенных ограничений модели без взлома самой системы в техническом смысле. Обычно разработчики реагируют на публикацию такой уязвимости дообучением модели на новых примерах атак и добавлением дополнительных фильтров, которые проверяют не только отдельный запрос, но и контекст всего диалога или списка задач целиком. Проблема в том, что каждый новый уровень защиты со временем провоцирует появление следующего обхода — это постоянная гонка между разработчиками моделей и исследователями безопасности.

Что это значит

Находка исследователей Тьюринговского института показывает, что защитные механизмы, отработанные для обычного чат-диалога, не всегда переносятся на агентные сценарии: по мере того как ИИ-агенты получают всё больше автономии в написании кода, разработчикам придётся тестировать защиту не только на прямых запросах, но и на запросах, замаскированных внутри списков задач.