ReviewScope busca anomalias em avaliações com embeddings e grafos em 21 mil textos

Uma frase estranha numa avaliação de padaria virou uma ferramenta inteira. O autor da publicação no Habr, que escolhia uma padaria depois de se mudar, viu no Yandex Maps uma avaliação que começava com as palavras «да вот хороший вариант ответа» («aqui está uma boa opção de resposta»). É assim que costuma ficar um texto copiado de um chat com um modelo de linguagem junto com uma fala a mais. Em vez de simplesmente ir a outra padaria, ele escreveu o ReviewScope: um sistema para encontrar anomalias, textos repetidos e padrões incomuns em avaliações. O teste foi feito em 21 mil avaliações reais.

O que se sabe sobre o ReviewScope

O anúncio no Habr lista três pilares do projeto: embeddings, grafos de similaridade e nota ponderada. A análise completa, as métricas de qualidade e os resultados na amostra ficaram no trecho recolhido do post, por isso não temos números de precisão nem a fração de avaliações suspeitas. Não vamos inventá-los.

• Objetivo: encontrar anomalias, duplicatas e padrões atípicos nas avaliações
• Fonte de inspiração: uma avaliação no Yandex Maps com artefato de geração de texto
• Métodos: embeddings dos textos, grafos de similaridade, nota ponderada
• Amostra de validação: cerca de 21 000 avaliações reais
• À parte, o autor promete contar quais erros precisou corrigir

Por que usar um grafo em avaliações?

A lógica dessa combinação é compreensível mesmo sem os detalhes. Os embeddings transformam o texto em um vetor, e avaliações próximas em significado ficam lado a lado, mesmo que as palavras tenham sido reordenadas ou trocadas por sinônimos. Nisso eles superam a busca por correspondências exatas: quem manipula avaliações troca duas palavras sem esforço, mas a impressão digital semântica continua a mesma.

O grafo resolve o passo seguinte. Se as avaliações forem os vértices e a alta similaridade for as arestas, uma campanha coordenada aparece como um cluster denso. Um texto isolado com cara de modelo prova quase nada, mas dez avaliações conectadas sobre o mesmo estabelecimento já justificam uma olhada mais atenta. A nota ponderada, a julgar pelo nome, deve reduzir a contribuição dessas avaliações na nota final. Como o autor calcula os pesos não está claro no anúncio.

Onde esses sistemas falham

A abordagem tem pontos fracos, e o autor, a julgar pelos erros corrigidos que ele menciona, esbarrou neles. Avaliações curtas como «Gostoso, recomendo» coincidem entre si de forma totalmente legítima, e um limiar de similaridade ingênuo as marcaria como suspeitas. Redes de estabelecimentos geram formulações padronizadas. Promoções sazonais provocam picos de avaliações que parecem manipulação, mas não são. Qualquer sistema desse tipo exige rotulagem manual de pelo menos parte da amostra; sem ela, não há como saber o que conta como falso positivo.

Há também um aspecto ético. Uma avaliação com uma frase de modelo de linguagem não é necessariamente falsa: a pessoa pode ter pedido a uma rede neural que editasse uma experiência real. A anomalia no texto indica a forma como ele foi escrito, mas não diz se a avaliação é verdadeira ou não.

O que aproveitar do projeto

Para equipes que trabalham com conteúdo de usuários, o exemplo serve como modelo. Embeddings e um grafo de similaridade se montam com componentes padrão em um fim de semana, e o valor aparece na etapa de calibrar os limiares e analisar os falsos positivos. Se você está construindo moderação de avaliações, comece com uma amostra de alguns milhares de registros e a checagem manual dos clusters duvidosos. Avalie grupos de avaliações conectadas, não textos isolados. É melhor reduzir o peso das avaliações do que zerá-lo: a medida é reversível e diminui o custo de um erro.

Quando o autor publicar o texto completo com os resultados, vale conferir como ele mediu a qualidade e que fração das anomalias encontradas confirmou manualmente. Sem esses números, o ReviewScope continua sendo uma demonstração convincente de uma ideia, mas não uma ferramenta validada.