Дистилляция языковых моделей: можно ли доказать кражу знаний через чат

В мире больших языковых моделей назревает конфликт, который по своей природе напоминает патентные войны в фармацевтике — только вместо молекул здесь крадут знания, упакованные в миллиарды параметров. Свежее исследование, опубликованное на Хабре, ставит провокационный вопрос: можно ли, просто общаясь с языковой моделью в чате, определить, что она была обучена методом дистилляции на выходных данных другой модели? Автор полагает, что да. И если он прав, это меняет правила игры для всей индустрии.

Чтобы понять контекст, нужно вернуться к скандалу, который разгорелся несколькими месяцами ранее. Anthropic — создатели Claude — публично обвинили китайских разработчиков в систематической дистилляции своей модели. Суть претензий была в том, что инженеры из КНР массово использовали API Claude, собирая его ответы для обучения собственных моделей. Anthropic заявила, что обнаружила это через мониторинг аккаунтов: анализ паттернов запросов, истории использования и связей учётных записей с китайскими компаниями. Доказательная база строилась на инфраструктурном уровне — кто, когда и сколько запросов отправлял.

Но автор исследования пошёл совершенно другим путём. Он задался вопросом: а что если доказательства скрыты не в логах серверов, а в самой модели? Дистилляция — это процесс, при котором маленькая модель-ученик обучается воспроизводить поведение большой модели-учителя. По сути, это сжатие знаний: вместо того чтобы тренировать модель на терабайтах сырых данных, разработчик скармливает ей готовые ответы более мощной системы. Модель-ученик перенимает не только факты, но и стилистические особенности, логические цепочки, характерные обороты и даже ошибки учителя. Именно эти следы — своего рода «отпечатки пальцев» — исследователь и попытался обнаружить через так называемый самоотчёт модели.

Методика выглядит элегантно в своей простоте. Если модель обучалась на ответах Claude, она может непроизвольно воспроизводить характерные для Claude паттерны: специфические формулировки отказов, узнаваемую структуру рассуждений, определённые этические рамки, которые Anthropic закладывает в свой продукт. Это похоже на то, как лингвист по особенностям речи может определить, в каком регионе вырос человек, — только здесь речь идёт о «регионе обучения» нейросети. Автор исследования утверждает, что обнаружил подобные маркеры, хотя и делает важную оговорку: результаты носят предположительный характер и не могут служить юридическим доказательством.

Эта оговорка — не просто дежурная вежливость, а отражение фундаментальной проблемы. Языковые модели остаются во многом чёрными ящиками даже для своих создателей. Никто не может с абсолютной уверенностью утверждать, почему модель выдала именно такой ответ. Совпадение стилистических паттернов может быть результатом дистилляции, а может — следствием обучения на схожих данных из открытых источников. Две модели, обученные на одних и тех же научных статьях и книгах, неизбежно будут похожи друг на друга, и это не имеет никакого отношения к краже интеллектуальной собственности.

Тем не менее само направление исследования чрезвычайно перспективно. Индустрия остро нуждается в инструментах верификации происхождения моделей. Сегодня рынок наводнён open-source моделями, многие из которых подозрительно хорошо справляются с задачами, для решения которых теоретически требуются значительно большие вычислительные ресурсы. Если методы «лингвистической экспертизы» для нейросетей будут доведены до ума, это может стать основой для нового направления — AI-форензики, цифровой криминалистики в мире искусственного интеллекта.

Для крупных лабораторий вроде OpenAI, Anthropic и Google DeepMind ставки колоссальны. Обучение фронтирных моделей стоит сотни миллионов долларов, и если конкуренты могут получить сопоставимое качество за малую долю этих затрат через дистилляцию, вся экономическая модель рушится. Неслучайно в пользовательских соглашениях большинства крупных провайдеров уже содержится прямой запрет на использование выходных данных для обучения конкурирующих моделей. Но запрет без механизма обнаружения нарушений — это просто слова на бумаге.

Исследование, при всей его предварительности, указывает на будущее, в котором модели будут нести в себе неизгладимые следы своего происхождения. Возможно, со временем разработчики начнут намеренно внедрять в свои модели скрытые водяные знаки — уникальные паттерны ответов, которые невозможно удалить при дистилляции. Некоторые компании уже экспериментируют с подобными техниками. Если эти методы станут надёжными, мир AI-разработки получит то, чего ему сейчас критически не хватает: механизм подотчётности. А пока индустрия балансирует на тонкой грани между открытым обменом знаниями и защитой инвестиций — и эта грань с каждым месяцем становится всё тоньше.