ReviewScope détecte les anomalies dans les avis grâce aux embeddings et aux graphes, testé sur 21 000 textes

Une seule phrase étrange dans un avis sur une boulangerie a suffi à faire naître un outil complet. L'auteur d'une publication sur Habr, qui cherchait une boulangerie après un déménagement, a vu sur Yandex Maps un avis débutant par « да вот хороший вариант ответа ». Ce type de texte ressemble à une réponse copiée depuis un chat avec un modèle de langage, avec une réplique superflue restée en tête. Plutôt que d'aller simplement dans une autre boulangerie, il a écrit ReviewScope : un système de détection d'anomalies, de textes répétitifs et de schémas inhabituels dans les avis. Il l'a testé sur 21 000 avis réels.

Ce que l'on sait de ReviewScope

L'annonce publiée sur Habr énumère les trois piliers du projet : embeddings, graphes de similarité et note pondérée. L'analyse complète, les métriques de qualité et les résultats sur l'échantillon sont restés sous le cut. Nous n'avons donc ni chiffre de précision ni part d'avis suspects, et nous ne les inventerons pas.

• Objectif : repérer dans les avis les anomalies, les doublons et les schémas atypiques
• Source d'inspiration : un avis sur Yandex Maps contenant un artefact de génération
• Méthodes : embeddings de textes, graphes de similarité, note pondérée
• Échantillon de test : environ 21 000 avis réels
• L'auteur promet par ailleurs de détailler les erreurs qu'il a dû corriger

Pourquoi utiliser un graphe pour des avis ?

La logique de cette combinaison se comprend sans détails supplémentaires. Les embeddings transforment un texte en vecteur : des avis proches par le sens se retrouvent côte à côte, même si les mots ont été réordonnés ou remplacés par des synonymes. C'est leur avantage sur la recherche de correspondances exactes : un faussaire d'avis change facilement deux ou trois mots, mais l'empreinte sémantique reste la même.

Le graphe résout le problème suivant. Si l'on considère les avis comme des sommets et les fortes similarités comme des arêtes, une campagne coordonnée apparaît sous la forme d'un cluster dense. Un texte générique isolé ne prouve presque rien, mais dix avis liés visant un même établissement justifient déjà d'y regarder de plus près. La note pondérée doit, à en juger par son nom, réduire le poids de ces avis dans l'évaluation finale. L'annonce ne dit pas clairement comment l'auteur calcule ces poids.

Où ce type de système atteint ses limites

Cette approche a ses points faibles, et l'auteur, à en juger par les corrections d'erreurs qu'il annonce, s'y est heurté. Des avis courts comme « Délicieux, je recommande » se ressemblent en toute honnêteté, et un seuil de similarité naïf les classera comme suspects. Les chaînes d'établissements produisent des formulations uniformes. Les promotions saisonnières provoquent des pics d'avis qui ressemblent à de la manipulation sans en être. Tout système de ce type exige d'annoter à la main au moins une partie de l'échantillon, faute de quoi on ne sait pas ce qui constitue un faux positif.

Il y a aussi un aspect éthique. Un avis contenant une phrase issue d'un modèle de langage n'est pas forcément un faux : la personne a pu demander à un réseau de neurones de reformuler une expérience réelle. Une anomalie dans le texte renseigne sur la manière dont l'avis a été écrit, pas sur sa véracité.

Ce que l'on peut retenir du projet

Pour les équipes qui travaillent avec du contenu généré par les utilisateurs, cet exemple fait office de modèle utile. Les embeddings et le graphe de similarité s'assemblent à partir de composants standard en un week-end, et la valeur apparaît à l'étape du calibrage des seuils et de l'analyse des faux positifs. Si vous construisez un système de modération d'avis, commencez par un échantillon de quelques milliers d'entrées et une vérification manuelle des clusters litigieux. Évaluez non pas des textes isolés, mais des groupes d'avis liés. Mieux vaut réduire le poids d'un avis dans la note que le mettre à zéro : c'est réversible et cela diminue le coût d'une erreur.

Quand l'auteur publiera le texte complet avec les résultats, il faudra vérifier comment il a mesuré la qualité et quelle part des anomalies détectées il a confirmée à la main. Sans ces chiffres, ReviewScope reste une démonstration convaincante d'une idée, mais pas un outil éprouvé.