Habr: как измерить шаблонность текстов ИИ шинглами и MinHash

Тексты, которые нейросети пишут для контент-маркетинга и медиа, всё чаще похожи друг на друга: тот же заход, три аргумента, абзац с «выводами». Разбор на Habr предлагает измерять это метриками: шинглами, MinHash и показателями структуры. Для масштаба: MinHash со 128 хэш-функциями даёт стандартную ошибку оценки сходства не выше 4,4 процентного пункта, и этого достаточно, чтобы искать шаблон в тысячах материалов. В анонсе раскрыты только тезисы, поэтому ниже описано, как эти методы работают и где их применять.

Откуда берётся шаблон

Модель выбирает наиболее вероятное продолжение. При низкой температуре и жёстких инструкциях она раз за разом приходит к одним и тем же формулировкам. Добавляется дообучение на человеческих предпочтениях: оценщики чаще одобряют аккуратный, нейтральный, хорошо структурированный ответ, и модель закрепляет именно такой стиль. Исследования об RLHF фиксируют снижение разнообразия выходов относительно базовых моделей.

Третий фактор — сами промпты. Команды копируют друг у друга удачные инструкции вроде «напиши статью с introduction, тремя разделами и заключением». Разные модели на одинаковом каркасе дают родственный результат.

Чем измерять похожесть

Шинглы — это скользящие окна из n слов. Текст превращается в множество таких окон, а сходство считают как коэффициент Жаккара: размер пересечения, делённый на размер объединения. Для русского языка обычно берут окна в 3–5 слов, и параметр придётся подбирать под жанр.

Проблема в цене: сравнивать все пары в корпусе из 10 000 текстов — это около 50 миллионов пар. Здесь помогает MinHash. Каждый текст сжимается в короткую сигнатуру, а доля совпавших позиций двух сигнатур оценивает коэффициент Жаккара. Если добавить LSH-корзины, похожие кандидаты находятся без полного перебора.

Шинглы ловят лексические повторы, но пропускают одинаковый каркас при разных словах. Для этого нужны структурные метрики:

• Jaccard по шинглам: доля общих n-грамм между двумя текстами;
• оценка MinHash: быстрое приближение того же значения на больших корпусах;
• distinct-n: доля уникальных n-грамм внутри набора текстов, падение сигнализирует о монотонности;
• self-BLEU: насколько каждый текст похож на остальные в выборке;
• разброс длины предложений и абзацев: у шаблонных текстов он аномально мал;
• повторяемость начал предложений и формулировок заголовков;
• схожесть последовательности разделов: введение, список, вывод в одном и том же порядке.

Как применять на практике

Начните с базовой линии. Возьмите 100–200 текстов, написанных людьми в вашем издании, и посчитайте метрики на них. Затем сделайте то же с ИИ-материалами на тех же темах. Разница между двумя распределениями и есть ваш реальный уровень шаблонности, а не ощущение редактора.

Дальше задайте пороги и встройте проверку в конвейер. Новый текст сравнивается с недавней выборкой через MinHash и LSH, и при превышении порога уходит на доработку. Структурные метрики стоит смотреть отдельно, потому что высокий показатель по ним при низком по шинглам означает одинаковый каркас с разными словами.

Если метрики плохие, помогает не только повышение температуры. Работают разные стилевые образцы в промпте, смена структуры задания под тип материала, случайный выбор угла подачи из заранее заготовленного списка и обязательные фактологические вставки: цифры, цитаты, внутренние данные. Последний пункт важнее остальных, потому что модель не может шаблонно воспроизвести факт, которого у неё нет.

Ограничение метода простое: он измеряет форму, а не качество. Уникальный по шинглам текст может быть пустым, а повторяющийся каркас иногда оправдан жанром, например в новостной сводке. Метрики нужны, чтобы увидеть проблему, а решение остаётся за редактором.