Самописный детектор нейрослопа ловит кодом 5 из 12 признаков ИИ-текста

Автор материала на Habr разложил 12 признаков нейрослопа, то есть текста, который выдала нейросеть и никто не вычитал, по проверкам собственного детектора. Кодом ловятся пять признаков, причём два из них частично. Остальные семь держатся только на правилах для редактора. На пробе мимо скрипта прошли две типичные фразы-вводки: «В этой статье мы рассмотрим» и «Вывод простой» с двоеточием.

Почему общий процент ничего не исправляет

Онлайн-детекторы отвечают числом и не объясняют, что именно в тексте не так. Сам процент ненадёжен. В работе Liang и соавторов семь детекторов в среднем приняли за машинные 61% эссе TOEFL, которые написали люди, для которых английский не родной. Такой детектор систематически ошибается там, где автор пишет аккуратно и осторожно, а это для него признак «машинности».

OpenAI свой классификатор ИИ-текста закрыла летом 2023 года из-за низкой точности. Если у разработчика самих моделей не вышло сделать надёжный инструмент общего назначения, ожидать этого от случайного сервиса с процентом на выходе трудно.

Узкая проверка вместо вердикта

Автор выбирает другую конструкцию. Скрипт называет конкретную фразу и правило, по которому она сработала, и с каждым срабатыванием можно спорить отдельно. Редактор видит не «текст на 73% написан ИИ», а «вот эта вводка и вот это правило».

Та же логика у редакторов Википедии. Они ведут открытый список признаков ИИ-текста и прямо пишут, что признак указывает на возможную проблему и сам по себе ничего не доказывает. Скрипт исходит из этого же допущения: он ищет следы невычитанного текста и авторство не определяет. Общий балл этого детектора на Habr уже разбирали отдельно.

Расклад по цифрам

• Всего признаков нейрослопа в разборе: 12.
• Ловятся кодом: 5, из них 2 частично.
• Остаются только за редактором: 7.
• Пропущены на пробе: «В этой статье мы рассмотрим» и «Вывод простой:».
• Ложные срабатывания по Liang и соавторам: в среднем 61% эссе TOEFL от людей, для которых английский не родной.
• Классификатор OpenAI закрыт летом 2023 года.

Где проходит граница между кодом и редактором

В анонсе не перечислены все 12 признаков, полный разбор лежит под катом. Но две пропущенные фразы показывают общую картину. Даже шаблонные вводки, которые кажутся идеальной мишенью для регулярного выражения, проскакивают, если меняется форма: другой глагол, знак препинания, порядок слов. Это моё прочтение, а не вывод автора, но оно логично. Код надёжен там, где признак лежит на поверхности и повторяется дословно. Признаки, которые требуют понимания смысла, остаются за человеком: пустое обобщение, отсутствие конкретики, абзац, из которого можно убрать половину слов без потерь.

Как применить это на практике

Если вы строите проверку для редакции или собственного блога, из разбора можно взять несколько правил.

• Делите признаки на два списка: что проверяет скрипт и что проверяет человек. Не пытайтесь загнать в код всё.
• Каждое срабатывание должно показывать фразу и правило. Тогда редактор может принять или отклонить его за секунды.
• Пополняйте словарь по пропускам. Две фразы, прошедшие мимо, готовое задание на следующую итерацию.
• Не используйте результат как доказательство авторства. Особенно осторожно с текстами авторов, для которых язык не родной: ошибки детекторов бьют по ним сильнее всего.
• Оставляйте вычитку обязательным шагом. Скрипт сокращает ручной труд, но не заменяет его.

Итог простой: проверка, которая объясняет себя, полезнее вердикта, которому приходится верить на слово.