Перевод и ИИ-редактура не обманули детекторы: Думейт после них поднял долю ИИ на 5–25%

Если спросить студента, как «пройти антиплагиат», он назовёт два способа: попросить чат-бота отредактировать текст специальным промптом или перегнать его через перевод на английский и обратно. Авторка этого эксперимента на Habr решила проверить, работает ли это на самом деле. Заодно разобраться, почему детекторы иногда ругаются на вполне человеческие работы.

Как проводили эксперимент

Взяли пять текстов по 11–12 тысяч знаков. Первый — грантовая заявка авторки 2021 года про очистные сооружения. Второй — его «близнец», который сгенерировал Claude по тому же техзаданию. Ещё три — курсовые 2024 и 2025 годов и ВКР 2026 года одной студентки-филолога. Все работы защищены на «5».

К текстам применили два приёма. Первый — ИИ-редактура ChatGPT по промпту: чередовать длину предложений, менять порядок слов, избегать гладких переходов, не трогать смысл. Второй — переводы Claude RU→EN, EN→RU и двойной RU→EN→RU. Проверяли Думейтом и GPTZero (модель 4.1m). Антиплагиат запускали лишь выборочно: полный тест не по карману.

Что показали детекторы

Человеческий текст GPTZero и Антиплагиат после любой обработки оценили как человеческий, 0% ИИ. Думейт же после двойного перевода выдал 51,1% ИИ. Авторка говорит, что нашла причину и убрала её, после чего оценка упала почти до нуля. Подробности она обещает в отдельной статье, так что пока это нужно принимать на веру.

С машинным текстом всё скучнее для желающих схитрить. Думейт после любой доработки снизил ИИ-долю меньше чем на 3%. GPTZero больше всего сдвинулся от редактуры по промпту: вероятность ИИ упала на 38%, почти вдвое. Но вердикт «генерация» при этом остался.

Отдельное наблюдение касается языка. Русскоязычный Думейт уверенно ловит русскую генерацию, но английский сгенерированный текст оценил как 0% ИИ. GPTZero, наоборот, даёт 100% на английском и менее точные проценты на русском, хотя вердикт верный. Каждый детектор лучше работает на «родном» языке.

На реальных курсовых доля ИИ по GPTZero выросла с 0% до 56% за три года, по Думейту с 12,5% до 70%. Научный руководитель сомневался в 70% для ВКР. Авторка утверждает, что смогла существенно снизить эту оценку, не меняя содержания. «Доработка» в этих работах чаще повышала долю ИИ в Думейте на 5–25%, и лишь в одном случае снизила на 3%.

Ограничения и практический вывод

Это не исследование с репрезентативной выборкой. Пять текстов, один автор, версии детекторов не раскрыты полностью (у Думейта версия не указана), а таблицы с точными цифрами в пересказе не видны. Механизм ложноположительных срабатываний Думейта не объяснён, он отложен на будущее. Так что выводы стоит считать гипотезой, а не доказанным фактом.

Для тех, кто делает или внедряет такие продукты, полезны три вещи. Во-первых, детекторы по-разному реагируют на правку: Думейт после перевода принял человеческий текст за машинный, GPTZero не поддался. Во-вторых, язык текста влияет на надёжность, и детектор для русского нельзя применять к английским работам. В-третьих, один процент ИИ-доли не повод для санкций. Если оценка скачет от лёгкой обработки, её нужно перепроверять вторым инструментом и разговором с автором.

Для студентов вывод авторки прямолинеен: машина не сделает текст человеческим. Для вузов и edtech-команд он неочевиднее: вместо порога в процентах лучше смотреть на долю «человеческого» текста и использовать несколько детекторов. Пока причины ложных срабатываний не опубликованы, проверку Думейтом стоит считать ориентиром, а не приговором.