ReviewScope busca anomalías en reseñas con embeddings y grafos sobre 21 000 textos

Una frase extraña en la reseña de una panadería acabó convirtiéndose en una herramienta completa. El autor de la publicación en Habr, que buscaba una panadería tras mudarse, vio en Yandex Maps una reseña que empezaba con las palabras «да вот хороший вариант ответа» («aquí tienes una buena opción de respuesta»). Así suele verse un texto copiado de un chat con un modelo de lenguaje junto con una línea sobrante. En lugar de ir a otra panadería, escribió ReviewScope: un sistema para detectar anomalías, textos repetidos y patrones inusuales en reseñas. Lo probó con 21 000 reseñas reales.

Qué se sabe de ReviewScope

El anuncio en Habr menciona tres pilares del proyecto: embeddings, grafos de coincidencias y rating ponderado. El análisis completo, las métricas de calidad y los resultados sobre la muestra quedaron bajo el corte del artículo, así que no disponemos de cifras de precisión ni del porcentaje de reseñas sospechosas. No vamos a inventarlas.

• Objetivo: encontrar anomalías, duplicados y patrones atípicos en reseñas
• Fuente de inspiración: una reseña de Yandex Maps con un artefacto de generación
• Métodos: embeddings de textos, grafos de coincidencias, rating ponderado
• Muestra de prueba: unas 21 000 reseñas reales
• Aparte, el autor promete contar los errores que tuvo que corregir

Por qué usar un grafo con las reseñas

La lógica de esta combinación se entiende incluso sin los detalles. Los embeddings convierten el texto en un vector, y las reseñas con significado parecido quedan cerca unas de otras, aunque las palabras estén reordenadas o sustituidas por sinónimos. Ahí superan a la búsqueda de coincidencias exactas: quien infla reseñas cambia fácilmente un par de palabras, pero la huella semántica se mantiene.

El grafo resuelve el siguiente problema. Si las reseñas son los nodos y la similitud fuerte son las aristas, una campaña coordinada aparece como un clúster denso. Un texto de plantilla aislado prueba casi nada, pero diez reseñas conectadas sobre un mismo negocio ya justifican una revisión. El rating ponderado, a juzgar por su nombre, debería reducir el peso de esas reseñas en la valoración final. El anuncio no aclara cómo calcula el autor esos pesos.

Dónde fallan estos sistemas

El enfoque tiene puntos débiles, y el autor, a juzgar por los errores corregidos que anuncia, se topó con ellos. Las reseñas cortas como «Vkusno, rekomenduyu» («Rico, lo recomiendo») coinciden entre sí de forma totalmente legítima, y un umbral de similitud ingenuo las marcará como sospechosas. Las cadenas de establecimientos generan formulaciones del mismo tipo. Las promociones estacionales provocan picos de reseñas que parecen manipulación, pero no lo son. Cualquier sistema así exige etiquetar a mano al menos una parte de la muestra; de lo contrario, no hay manera de saber qué cuenta como falso positivo.

Hay también una cuestión ética. Una reseña con una frase de un modelo de lenguaje no es necesariamente falsa: la persona pudo pedirle a una red neuronal que puliera una experiencia real. La anomalía en el texto habla de cómo se escribió, no de si la reseña es veraz.

Qué se puede aprovechar del proyecto

Para los equipos que trabajan con contenido de usuarios, el ejemplo sirve como plantilla. Los embeddings y el grafo de similitud se montan con componentes estándar en un fin de semana, y el valor aparece en la calibración de umbrales y en el análisis de los falsos positivos. Si estás construyendo moderación de reseñas, empieza con una muestra de unos pocos miles de registros y revisa a mano los clústeres dudosos. Evalúa grupos de reseñas conectadas, no textos sueltos. Conviene reducir el peso de una reseña en el rating en lugar de anularlo: es reversible y abarata el coste del error.

Cuando el autor publique el texto completo con los resultados, habrá que comprobar cómo midió la calidad y qué proporción de las anomalías encontradas confirmó manualmente. Sin esas cifras, ReviewScope sigue siendo una demostración convincente de una idea, pero no una herramienta verificada.