Награда CoFiBreak научила атакующую LLM разным джейлбрейкам без потери ASR@10

Исследователи из Simon Fraser University и Microsoft Research предложили CoFiBreak — двухуровневую награду за разнообразие для обучения атакующей языковой модели алгоритмом GRPO (оптимизация политики по относительным оценкам внутри группы генераций). Автоматический red teaming учит одну LLM подбирать промпты, которые заставляют другую модель — «жертву» — выдать вредный ответ. Если награждать только за успех атаки, атакующий схлопывается в узкий набор похожих промптов. CoFiBreak поощряет разнообразие, сохраняя эффективность: её измеряют метрикой ASR@10 — долей вредных намерений, для которых успешна хотя бы одна из 10 сгенерированных атак. Метод переносится и на не виденную при обучении модель Claude-Opus-4.6.

Зачем атакующему разнообразие

Схлопывание атак искажает оценку безопасности: модель раз за разом проверяют на почти одинаковых шаблонах, а не на разных путях к одному и тому же вредному намерению. У существующих методов есть компромисс между эффективностью, разнообразием и стоимостью инференса. SEMA быстр, но из-за оптимизации одного лишь успеха атаки разнообразен слабо. TROJail даёт самое высокое разнообразие среди базовых методов, но атакует заметно слабее на Claude-Opus-4.6. Промптовые атакующие вроде Crescendo, который постепенно наращивает давление от безобидных ходов, и AutoDAN-Turbo, собирающий атаки из библиотеки стратегий, эффективнее, но требуют повторных вызовов API и тратят 2,6–3,6 секунды на атаку. Локальные атакующие, например ADV-LLM, справляются за 0,03–0,21 секунды.

Две награды: стратегии и их воплощение

Грубый (coarse) уровень работает со стратегиями. LLM-судья размечает каждый ход многоходовой атаки по фиксированной таксономии, допуская несколько стратегий на ход. Награду получают генерации, использующие стратегии, которых в группе GRPO мало. Генерация может добавить забытую стратегию, не отказываясь от уже работающей.

Тонкий (fine) уровень борется с повторами внутри одной стратегии: одни и те же персоны, рамки и форматы вывода. Атаки сравнивают по эмбеддингам, но сырое косинусное сходство определяется темой вредного намерения, а не стилем атаки. Поэтому из эмбеддингов сначала убирают направление намерения — так, чтобы линейный классификатор не смог его восстановить, — и лишь затем награждают за удалённость от соседей по группе и по глобальному буферу.

Как разнообразие не съедает эффективность

Награда за разнообразие выдаётся только атакам, превысившим порог эффективности и правильно оформленным. Поэтому разнообразие нельзя получить за счёт неработающих атак. Базовую награду за эффективность авторы берут из прежней работы: формат проверяется регулярным выражением, а судья GPT-4.1-mini оценивает финальный ответ жертвы по соответствию намерению, риску выполнения и детальности. Замена этой оценки на StrongREJECT, по словам авторов, даёт сходные эффективность и разнообразие.

Атакующий построен на Llama3.1-8B-Instruct с предварительной тонкой настройкой (SFT) на самосгенерированных данных. Жертвой при обучении тоже служит Llama3.1-8B-Instruct.

Результаты и стоимость

Судья стратегий и эмбеддинги нужны только при обучении, поэтому на инференсе модель выдаёт многоходовую атаку напрямую из намерения, без поиска и вызовов API. По заявлению авторов, CoFiBreak находит столько же различных успешных мелкозернистых стратегий, сколько сильнейший базовый метод, на трёх передовых моделях-жертвах. Доминирующие стратегии различаются: GPT-5-mini наиболее уязвима к одним приёмам, а Claude-Opus-4.6 — к пошаговому выманиванию инструкций. Атаки, обученные только на Llama3.1-8B-Instruct, переносятся на неизвестные передовые модели.

Конкретные значения ASR@10 и показателя разнообразия в доступном фрагменте статьи усечены, поэтому оценить величину прироста нельзя. Код авторы обещают опубликовать.

Для команд, тестирующих безопасность моделей, вывод практический: тысячи сгенерированных атак мало говорят о защите, если повторяют один шаблон, поэтому разнообразие стоит отслеживать наравне с долей успешных атак. При этом метод остаётся инструментом двойного назначения: тот же атакующий можно использовать и для реальных взломов.