DetectorScope превращает чёрный ящик детектора ИИ-текстов в прозрачный

Детекторы ИИ-текстов сегодня решают вопросы, от которых зависят люди: рецензирование научных статей, оценки в вузах, приёмные комиссии, редакции и модерация контента. Самые сильные из них — дообученные нейросетевые классификаторы, и объяснить их вердикт нельзя. Прозрачные альтернативы на стилометрии и лингвистических признаках заметно уступают в точности. Команда исследователей, среди которых Лиам Дуган, Каллум Макдугалл, Мэттью Дентон, Филип Фам, Кристина Кезер-Чен и Крис Каллисон-Берч, предложила обойти этот выбор. Их пайплайн DetectorScope забирает готовый детектор и строит поверх него классификатор на человекочитаемых понятиях. Статья принята в основную программу EMNLP 2026, код опубликован в репозитории google-deepmind/detectorscope.

Пять шагов от чёрного ящика к аудиту

Идея опирается на разреженные автоэнкодеры (SAE), инструмент интерпретируемости, который раскладывает внутренние активации модели на отдельные признаки. Авторы применили его не к языковой модели общего назначения, а к самому детектору. Пайплайн выглядит так:

• Обучение SAE. Автоэнкодеры тренируют прямо на residual stream дообученного нейросетевого детектора.
• Авто-интерпретация. Каждой фиче SAE автоматически присваивают текстовое описание: что именно она улавливает в тексте.
• Фильтр по fidelity. Остаются только те фичи, чьи сгенерированные описания проходят глобальный порог достоверности. Всё, что описать убедительно не удалось, отбрасывается.
• Лёгкий классификатор. На отобранных интерпретируемых фичах обучают простую модель, которая и выдаёт итоговый вердикт.
• Аудит. Для любого решения можно посмотреть, какие понятия сработали и почему текст признан машинным или человеческим.

Фильтр по порогу здесь принципиален. Автоматические подписи к фичам бывают красивыми и неверными, и без проверки аудит превратился бы в иллюзию прозрачности. Требование глобальной достоверности оставляет в итоговом классификаторе только те признаки, которым можно доверять.

Что нашли внутри детектора

Главный содержательный результат: SAE вытаскивают скрытые концепты, соответствующие конкретным и предсказательным лингвистическим «маркерам» ИИ-текста. Это не абстрактные «стилистическая гладкость» или «высокая перплексия», а специфические языковые приметы, которые аналитик может прочитать, проверить на примерах и оспорить. Для рецензента журнала или преподавателя это разница между «система сказала 94%» и «система нашла такие-то конструкции».

По точности авторы сообщают два вывода. Аудируемые детекторы сохраняют качество исходного чёрного ящика и на данных из того же распределения, и на текстах вне распределения. Кроме того, классификаторы на извлечённых признаках показывают на out-of-distribution текстах результат лучше, чем нейросетевые и стилометрические альтернативы. Для детекции это самая болезненная зона: генераторы быстро меняются, а детекторы, обученные на старых моделях, ломаются на новых.

Стоит учесть и другую сторону. Понятные признаки облегчают не только аудит, но и обход: тот, кто знает, по каким «маркерам» детектор ловит текст, может их вычистить. Это обычная цена прозрачности, и решать её придётся политиками применения, а не только архитектурой.

Как это применять

Для команд, которые уже используют детекторы в проверке работ, подборе рецензентов или модерации, DetectorScope описывает рабочий путь: не менять модель, а надстроить над ней слой объяснений. Метод заявлен для произвольного детектора, поэтому существующие решения не нужно заменять с нуля.

Практические следствия очевидны. Спорные случаи можно разбирать по списку сработавших признаков, а не по одному числу вероятности. Системные ошибки, например перекос против авторов, пишущих не на родном языке, проще заметить, когда видно, какие понятия двигают вердикт. А регуляторам и организациям, которым нужно документировать автоматизированные решения о людях, аудируемый детектор даёт то, что можно приложить к отчёту.

Код открыт, поэтому метод можно проверить на собственных данных и собственном детекторе. Именно на таких проверках станет понятно, насколько устойчиво описания признаков переносятся между доменами и языками.