Нейросети-редакторы молча переписывают текст: как измерить долю правок до выбора модели

Вы отдаёте статью нейросети с просьбой «исправь только ошибки». Возвращается гладкий текст, в котором автора уже не узнать. Знакомо? Это не каприз одной модели, а поведение по умолчанию, и его уже пытались измерить.

Просьба «только грамматика» не защищает смысл

В препринте 2026 года исследователи из Berkeley, Google DeepMind и других организаций сравнили правки людей и трёх ИИ-моделей на 86 эссе. Люди правили мелко и в разные стороны. Модели сдвигали текст далеко от оригинала. Прямой запрет не помогал: смысл менялся даже после замечаний эксперта и просьбы исправить только грамматику. В соседнем эксперименте у тех, кто активно писал с нейросетью, доля нейтральных эссе без позиции по вопросу выросла почти на 70%.

Отсюда практический вывод: выбирать редактора по ощущению «стало лучше» нельзя. Гладкость как раз и есть симптом переписывания.

Рейтинги тут не помощники. Kimi K3 входит в первую двадцатку русского среза Arena, DeepSeek V3.2 занимает 4-е место в llmarena.ru, Qwen3.5-27B стоит первой в столбце длинных текстов MERA Reason, а Grok 4.7 — 13-й в народном рейтинге AI-Stat. Но эти таблицы меряют диалоги, ролевые сценарии и длинные тексты, а не правку чужой статьи. К тому же места из разных таблиц между собой не сравниваются: участники, задачи и даты у них разные.

Как измерить, сколько модель поменяла

Сначала промпт. Перечислите допустимые правки поимённо (орфография, пунктуация, грамматика, явные описки), запретите всё остальное и добавьте «если сомневаешься, не правь». Попросите вернуть полный текст и список правок в формате «было → стало». Если в тексте изменений больше, чем в списке, модель правила молча.

Дальше считаем. Разницу показывает команда git diff --no-index --word-diff original.txt edited.txt. Долю изменений даёт короткий скрипт на Python с difflib: разбиваем оба текста на слова и знаки препинания и берём единицу минус ratio у SequenceMatcher. Условные пороги: до 5% — точечная правка, от 15% — переписывание. Но сначала прогоните ту же метрику на правке живого редактора: именно она должна быть эталоном.

Есть подвох. Если модель переставила абзацы, подсчёт по словам увидит удаление и новую вставку, хотя нового текста нет. Devatine и Abraham предлагают для таких случаев метрику на сжатии LZ77. Грубое приближение даёт стандартный zlib: сжимаем оригинал вместе с правкой и смотрим, сколько добавилось. Окно zlib — 32 КБ, поэтому длинную статью режьте по разделам. Высокий word_share при низком compression_share, скорее всего, означает перестановку блоков. Если высоки оба значения, модель писала заново. Это упрощение, а не код авторов.

Чек-лист прогона на своей статье

• Возьмите статью на 3–5 тыс. знаков и запускайте каждую модель в новом диалоге с одним и тем же промптом.
• Отключите или ограничьте режим рассуждения. В краш-тесте 27 моделей китайские модели с ним тратили по 51 000–68 000 токенов, а GPT-6 Astra и Gemini 4 Argon укладывались в 6 461–9 841. Разницу вы оплатите временем и деньгами.
• Посчитайте word_share и compression_share, затем поищите иероглифы регулярным выражением. В слепом тесте их вставляли Tencent Hy4 Preview и NVIDIA Nemotron 3.5 Super VL, а Qwen, DeepSeek и Kimi среди таких не названы. Но одно чужое слово на статью глазами легко пропустить.
• Сверьте diff со списком правок модели: каждое расхождение означает молчаливую правку.
• Прочтите изменённые места глазами: скрипт не видит, что ушёл смысл.

Что в итоге

Пороги и код здесь стартовые, итог зависит от текста, а версии моделей быстро меняются: в октябре 2026 года среди китайских флагманов уже называли Qwen 3.8 Max и DeepSeek V4.1. Поэтому прогон удобно оформить как регрессионный тест промпта и повторять после каждой доработки. Регистрацию и оплату из России для каждой модели проверьте на её сайте заранее.

Редактуру можно отдавать той модели, у которой доли изменений ближе всего к правке живого редактора и нет молчаливых правок. Гладкость результата в этом выборе ничего не решает. А какую долю изменённого текста вы считаете допустимой для своих статей?