Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
РелизНаучная статья · В песочницуMIT News→ оригинал

Детектор ИИ-текстов научили дообучаться на лету: 93% пойманных маскировок вместо 27%

Детекторы ИИ-текста обходят «гуманайзеры» — программы, которые переписывают машинный текст под человеческий. Исследователи MIT и Cornell Tech разрешили работающему детектору дообучаться на свежих неразмеченных текстах пользователей. В итоге он поймал более 93% замаскированных текстов, а коммерческий детектор — около 27%. Для антифрода и модерации это сигнал: модель, обученную один раз, нужно обновлять, как антиспам-фильтр.

AI-обработка оригинала MIT News; редакция Hamidun News
Детектор ИИ-текстов научили дообучаться на лету: 93% пойманных маскировок вместо 27%
Источник: MIT News. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникMIT News ↗
Главный редактор
Естественный сдвиг стиля письма85% точности против 73% у обычных методов
Ключевой факт #2Метод test-time adaptation не требует переобучать модель с нуля
Авторы предупреждаюттексты будущих LLM будут ещё естественнее

Учитель подозревает, что курсовую написала нейросеть, и запускает детектор ИИ-текстов. Проблема в том, что ученик мог прогнать черновик через «гуманайзер» — программу, которая переписывает машинный текст так, чтобы он выглядел человеческим, — и обычный детектор такую маскировку пропустит. Исследователи из MIT и Cornell Tech предложили не замораживать детектор после выпуска, а позволить ему дообучаться на новых текстах прямо в работе. Этот подход называется test-time adaptation (TTA), то есть адаптация во время эксплуатации. В тесте на замаскированных текстах коммерческий детектор находил лишь около 27% ИИ-текстов, а версия с TTA — более 93%. Если вы строите антифрод, модерацию или проверку контента, это прямо про вашу задачу: модель, обученную один раз, противник со временем обойдёт.

Почему детекторы ломаются

Обычно разработчик собирает в интернете тексты, про которые известно, что их написал человек или ИИ, и учит модель их различать. После релиза модель остаётся неизменной. Дальше проблемы приходят с двух сторон.

Первая — естественный сдвиг. Люди меняют темы, обороты и аналогии. Автор, пишущий в 2030 году, использует иные образы, чем автор 2010-го. Детектор, обученный на старых текстах, может принять новый человеческий стиль за машинный и ошибочно обвинить живого автора.

Вторая — гонка вооружений. Вокруг любого популярного детектора быстро появляются гуманайзеры. Компания добавляет их тексты в обучение, появляются новые гуманайзеры, и цикл повторяется. По словам ведущего автора Кевина Рена, он может продолжаться вечно.

Что предложили авторы

В TTA модель после выпуска подстраивается под входящие данные. Для детектора это тексты, которые присылают пользователи. Разметки у них нет: никто не знает, написал текст человек или нейросеть. Зато такие тексты отражают актуальное письмо людей и ИИ, а именно его детектор и должен распознавать. Накопив достаточно примеров, модель сама находит закономерности, разделяющие два типа текстов. Переобучать её с нуля при этом не нужно.

Для проверки авторы собрали наборы с известным количеством человеческих и машинных текстов, но разметку модели не показывали. Часть примеров с помощью языковых моделей сгенерировали специально так, чтобы обойти детектор. После адаптации модель проверяли на данных с известными ответами.

Что получилось

  • В сценарии с замаскированными ИИ-текстами существующие методы находили около 27%, а модель с TTA — более 93%.
  • В эксперименте, имитирующем естественное изменение человеческого языка со временем, детектор с TTA показал 85% точности против 73% у традиционных методов.

Вторая задача оказалась сложнее: сдвиги в человеческом письме медленные и тонкие, заметить их труднее, чем целенаправленные трюки гуманайзеров. API-кредиты для доступа к детекторам предоставила компания Pangram.

Ограничения и практический вывод

Авторы не обещают победы. Чем естественнее пишут будущие LLM, тем сложнее отличать их текст от человеческого. К тому же всё труднее находить проверенные человеческие тексты для обучения. Соавтор Маниш Раваган признаёт, что неясно, решаема ли эта задача вообще. Он ставит вопрос шире: как относиться к науке, письму и искусству, если отличить человека от ИИ невозможно.

Для практиков выводы такие. Во-первых, детектор, обученный один раз, со временем деградирует: данные меняются, а противник подстраивается. Метрики на статичном тестовом наборе плохо описывают реальность. Во-вторых, неразмеченный поток пользовательских текстов — ресурс, а не мусор: на нём можно подстраивать модель без дорогой ручной разметки. В-третьих, это не только про школы и редакции. Метод может пригодиться против фишинговых писем и SEO-мошенничества, где противник заведомо адаптивен.

Результат не стоит читать как «детекторы теперь надёжны». Вердикт детектора остаётся вероятностной оценкой, поэтому в важных случаях — научная публикация, конкурс рассказов, найм — его нужно проверять другими способами. Работу представят на конференции NeurIPS. В планах авторов — искать другие области, где TTA поможет, и строить более удобные бенчмарки для динамической проверки детекторов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему детекторы ломаются?

Обычно разработчик собирает в интернете тексты, про которые известно, что их написал человек или ИИ, и учит модель их различать. После релиза модель остаётся неизменной. Дальше проблемы приходят с двух сторон. Первая — естественный сдвиг. Люди меняют темы, обороты и аналогии. Автор, пишущий в 2030 году, использует иные образы, чем автор 2010-го. Детектор, обученный на старых текстах, может принять новый человеческий стиль за машинный и ошибочно обвинить живого автора. Вторая — гонка вооружений.

Что известно по теме: что предложили авторы?

В TTA модель после выпуска подстраивается под входящие данные. Для детектора это тексты, которые присылают пользователи. Разметки у них нет: никто не знает, написал текст человек или нейросеть. Зато такие тексты отражают актуальное письмо людей и ИИ, а именно его детектор и должен распознавать. Накопив достаточно примеров, модель сама находит закономерности, разделяющие два типа текстов. Переобучать её с нуля при этом не нужно.

Что известно по теме: что получилось?

В сценарии с замаскированными ИИ-текстами существующие методы находили около 27%, а модель с TTA — более 93%. В эксперименте, имитирующем естественное изменение человеческого языка со временем, детектор с TTA показал 85% точности против 73% у традиционных методов. Вторая задача оказалась сложнее: сдвиги в человеческом письме медленные и тонкие, заметить их труднее, чем целенаправленные трюки гуманайзеров. API-кредиты для доступа к детекторам предоставила компания Pangram.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…