ReviewScope ищет аномалии в отзывах через embeddings и графы на 21 тыс. текстов

Одна странная фраза в отзыве на булочную превратилась в целый инструмент. Автор публикации на Хабре, выбирая пекарню после переезда, увидел на Яндекс Картах отзыв, который начинался словами «да вот хороший вариант ответа». Так обычно выглядит текст, скопированный из чата с языковой моделью вместе с лишней репликой. Вместо того чтобы просто пойти в другую пекарню, он написал ReviewScope: систему поиска аномалий, повторяющихся текстов и необычных закономерностей в отзывах. Проверку провёл на 21 тысяче настоящих отзывов.

Что известно о ReviewScope

В анонсе на Хабре перечислены три опоры проекта: embeddings, графы совпадений и взвешенный рейтинг. Полный разбор, метрики качества и результаты на выборке остались под катом, поэтому цифр точности или доли подозрительных отзывов у нас нет. Не будем их додумывать.

• Задача: найти в отзывах аномалии, дубли и нетипичные паттерны
• Источник вдохновения: отзыв на Яндекс Картах с артефактом генерации
• Методы: embeddings текстов, графы совпадений, взвешенный рейтинг
• Проверочная выборка: около 21 000 реальных отзывов
• Отдельно автор обещает рассказать об ошибках, которые пришлось исправлять

Зачем отзывам граф

Логика такой связки понятна и без подробностей. Embeddings переводят текст в вектор, и близкие по смыслу отзывы оказываются рядом, даже если слова переставлены или заменены синонимами. Этим они выигрывают у поиска точных совпадений: накрутчик легко меняет пару слов, но смысловой отпечаток остаётся.

Граф решает следующую задачу. Если считать отзывы вершинами, а сильное сходство рёбрами, то скоординированная кампания видна как плотный кластер. Одиночный шаблонный текст почти ничего не доказывает, а десять связанных отзывов на одну организацию уже повод присмотреться. Взвешенный рейтинг, судя по названию, должен уменьшать вклад таких отзывов в итоговую оценку. Как именно автор считает веса, из анонса не ясно.

Где такие системы ломаются

У подхода есть слабые места, и автор, судя по заявленным исправленным ошибкам, с ними столкнулся. Короткие отзывы вроде «Вкусно, рекомендую» совпадают друг с другом совершенно честно, и наивный порог сходства отправит их в подозрительные. Сетевые заведения порождают однотипные формулировки. Сезонные акции дают всплески отзывов, которые похожи на накрутку, но ею не являются. Любая такая система требует разметки хотя бы части выборки вручную, иначе непонятно, что считать ложным срабатыванием.

Есть и этический аспект. Отзыв с фразой от языковой модели не обязательно фейк: человек мог попросить нейросеть отредактировать настоящий опыт. Аномалия в тексте говорит о способе написания, но не о том, правдив отзыв или нет.

Что можно взять из проекта

Для команд, которые работают с пользовательским контентом, пример полезен как шаблон. Embeddings и граф сходства собираются из стандартных компонентов за выходные, а ценность появляется на этапе калибровки порогов и разбора ложных срабатываний. Если вы строите модерацию отзывов, начинайте с выборки в несколько тысяч записей и ручной проверки спорных кластеров. Оценивайте не одиночные тексты, а группы связанных отзывов. Рейтинг лучше понижать в весе, а не обнулять: это обратимо и снижает цену ошибки.

Когда автор опубликует полный текст с результатами, стоит проверить, как он измерял качество и какую долю найденных аномалий подтвердил вручную. Без этих чисел ReviewScope остаётся убедительной демонстрацией идеи, но не проверенным инструментом.