Автор Хабра проверяет, сколько правок нужно, чтобы стереть водяной знак LLM

Автор Хабра взялся измерить то, о чём пока спорят в теории: насколько сильно нужно изменить текст, чтобы водяной знак языковой модели перестал читаться. Поводом стало утверждение, что Claude уже маркирует вывод, а OpenAI внедряет аналогичный механизм. Во вступлении поставлены четыре вопроса, но результатов там нет: сами замеры автор выносит в основную часть. Вопросы при этом выбраны точные, и именно они определяют, чего стоит ждать от меток на практике.

Как устроена метка

Текстовый вотермарк не прячется в символах. Обычно это статистическое смещение при выборе токенов: секретный ключ определяет, каким словам модель даёт чуть больший вес. Читатель разницы не видит. Детектор с ключом считает долю «предпочтённых» токенов и сравнивает её с ожидаемой для случайного текста. Схему с «зелёными» и «красными» списками описали исследователи из Мэрилендского университета в 2023 году, а Google позже выпустил собственный вариант SynthID-Text.

Какая именно схема используется в Claude и у OpenAI, во вступлении не уточняется. Автор отсылает к двум разборам на Хабре, где механику объясняют подробно, в том числе способы обхода.

Отсюда следует главное свойство: сигнал накапливается с длиной. Одна фраза почти ничего не доказывает, длинный текст доказывает много. Любая замена слов этот сигнал разбавляет.

Четыре вопроса эксперимента

• Глубина рерайта. Сколько нужно переписать «портянку нейрослопа», чтобы детектор уверенно её не помечал. Мерой служит доля изменённых токенов.
• Две метки сразу. Если рерайт делает другая модель, тоже с водяным знаком, получится ли текст с двумя следами и насколько уверенно найдётся каждый.
• Человеческий текст с правкой ИИ. Исправление ошибок и пунктуации, переписывание пары абзацев: где проходит граница, после которой текст считается сгенерированным.
• Код. Где метка вообще может находиться: в комментариях, в лишних скобках, в именах переменных.

Последний вопрос самый интересный технически. Статистической метке нужна свобода выбора: модель должна иметь несколько почти равноценных продолжений. В тексте таких мест много. В коде синтаксис и API жёстко задают большую часть токенов, и пространства для смещения остаётся меньше. Это общий принцип таких схем, а не результат автора. Подтвердят ли его замеры для коммерческих моделей, станет ясно из основной части.

Чего пока не известно

Детекторы для Claude и OpenAI, как следует из текста, в общем доступе не появились. Автор исходит из того, что когда-нибудь они появятся, и тогда уже написанные тексты можно будет проверить задним числом. Это и есть главный риск, который он описывает: отчёт для заказчика, научная работа или проза, за которую вы отвечаете лично.

У детекции есть и обратная сторона. Любой порог уверенности даёт ложные срабатывания, особенно на коротких текстах и на тексте с лёгкой правкой моделью. Поэтому результаты замеров по третьему вопросу важны не только тем, кто хочет метку убрать, но и тем, кого могут обвинить без оснований.

Практические выводы

Пока нет публичных детекторов и опубликованных замеров, разумно действовать спокойно и заранее.

• Сохраняйте черновики и историю правок. Это лучшее доказательство авторства, лучше любого детектора.
• Если работаете с заказчиком или журналом, заранее выясните их политику по ИИ-помощи и зафиксируйте договорённость письменно.
• Не считайте срабатывание детектора приговором: метка даёт вероятность, а не доказательство.
• Конфиденциальные данные не стоит отправлять в облачные модели ради «причёсывания» текста независимо от водяных знаков.
• Дождитесь основной части эксперимента и сверяйте выводы с методикой: размер выборки, язык текстов, версии моделей.

Эксперимент на Хабре может дать первые ориентиры по порогам правок. Пока это вопросы, а не ответы.