LLM-Attacker сравнивает атаки на split-LLM: градиенты подняли утечку до 37,77%

Исследователи представили LLM-Attacker, единый red-team фреймворк для оценки приватности split- и распределённых языковых моделей. Главная цифра из контрольного эксперимента на GPT-2: стоило дать атакующему градиенты, которые возвращаются с сервера во время обучения, и доля восстановленных токенов выросла с 94,20% до 97,38%. Точное восстановление документов целиком подскочило с 13,71% до 37,77%, то есть почти втрое.

Почему результаты атак на split-LLM нельзя сравнить

В split-схеме текст остаётся на клиенте, а на сервер уходят промежуточные представления, то есть активации с одного из слоёв. Идея привлекательная: сервер считает тяжёлую часть модели, а исходные данные пользователя не покидают устройство. Но по этим представлениям можно реконструировать текст, и таких атак уже немало.

Проблема в том, что работы плохо сопоставимы между собой. Один атакующий видит одни сообщения, другой знает веса модели, третий нет. Датасеты разные, метрики восстановления тоже. Когда статья заявляет «наша защита снижает утечку», непонятно, против кого, на каких данных и по какой линейке это измерено.

Что записывает и проверяет фреймворк

LLM-Attacker превращает эти скрытые допущения в явные записи. Фреймворк фиксирует модель угроз, доступные атакующему сообщения, известные веса, корпус и способ подсчёта. Совместимые атаки переиспользуют уже записанные сообщения, а их предсказания сохраняются и оцениваются независимо от того, кто атаку запускал.

Есть жёсткое правило для защит: заявить об успехе можно только при наличии связанного эталона без защиты. Без базовой линии «стало лучше» ничего не значит. Кроме того, итоговый отчёт отдельно перечисляет атаки, которые не запускались. Отсутствие утечки в проверенных сценариях перестаёт выглядеть как отсутствие утечки вообще.

Авторы также разделяют два вида утверждений: проверку корректности реализации и измеренную эффективность атаки. Одно говорит, что код делает что задумано, другое показывает, насколько атака опасна.

Эксперимент с GPT-2: что даёт доступ к градиентам

Контрольный эксперимент проверял, как оценка реагирует на изменение доступа атакующего. Результаты:

• восстановление токенов: 94,20% → 97,38% при добавлении градиентов;
• точное восстановление документа: 13,71% → 37,77%;
• порог эффекта в два процентных пункта был зафиксирован до начала тестов;
• 95%-й доверительный интервал прироста по токенам целиком лежит выше этого порога.

Этот эксперимент разделён с сопутствующей работой. Внутри LLM-Attacker он служит проверкой чувствительности: если расширить права атакующего, измерение должно это заметить, и оно заметило. Примечательно, что рост по токенам выглядит скромным (около трёх пунктов), а по документам целиком он огромный. Средняя метрика скрывает хвост, в котором и сидит реальный риск раскрытия.

Дополнительные исследования в рамках фреймворка оценивают, как выбор корпуса и защиты на основе сжатия влияют на восстановление. Адаптированную опубликованную атаку сравнивают с её референсной реализацией, а сам код измерений тестируют отдельно.

Как выстроить проверку у себя

Для команд, которые строят или покупают split-инференс и распределённое обучение, вывод практичный. Любое заявление о приватности должно называть атакующего, датасет и правило подсчёта, показывать контрольные прогоны и перечислять, что осталось непроверенным.

При оценке стоит прогонять атаки минимум в двух режимах доступа: только с прямыми сообщениями и с градиентами, если те возвращаются на сервер. Нужно смотреть не только долю токенов, но и точное восстановление документов, потому что именно эта метрика выросла сильнее всего. Любую защиту, будь то сжатие или шум, следует сравнивать с версией без неё на тех же данных. А при выборе поставщика полезно попросить отчёт именно в такой форме: без списка непроверенных атак он показывает лишь часть картины.