Habr: como medir o quanto os textos de IA seguem um mesmo molde com shingles e MinHash

Os textos que redes neurais escrevem para marketing de conteúdo e mídia estão cada vez mais parecidos entre si: a mesma abertura, três argumentos, um parágrafo de "conclusões". Uma análise no Habr propõe medir isso com métricas: shingles, MinHash e indicadores de estrutura. Para ter uma noção de escala: o MinHash com 128 funções de hash tem erro padrão na estimativa de similaridade de no máximo 4,4 pontos percentuais, o que basta para procurar o molde em milhares de materiais. O anúncio revela apenas as teses, por isso abaixo descrevemos como esses métodos funcionam e onde aplicá-los.

De onde vem o molde

O modelo escolhe a continuação mais provável. Com temperatura baixa e instruções rígidas, ele chega repetidamente às mesmas formulações. Soma-se a isso o ajuste fino com preferências humanas: os avaliadores aprovam com mais frequência uma resposta caprichada, neutra e bem estruturada, e o modelo fixa justamente esse estilo. Pesquisas sobre RLHF registram redução na diversidade das saídas em relação aos modelos base.

O terceiro fator são os próprios prompts. As equipes copiam umas das outras instruções que funcionaram, como "escreva um artigo com introduction, três seções e conclusão". Modelos diferentes, diante do mesmo esqueleto, produzem resultados parecidos.

Como medir a semelhança

Shingles são janelas deslizantes de n palavras. O texto vira um conjunto dessas janelas, e a similaridade é calculada como coeficiente de Jaccard: o tamanho da interseção dividido pelo tamanho da união. Para o russo, costuma-se usar janelas de 3 a 5 palavras, e o parâmetro precisa ser ajustado ao gênero.

O problema é o custo: comparar todos os pares em um corpus de 10 000 textos significa cerca de 50 milhões de pares. É aí que entra o MinHash. Cada texto é comprimido em uma assinatura curta, e a proporção de posições coincidentes entre duas assinaturas estima o coeficiente de Jaccard. Com buckets de LSH, os candidatos parecidos são encontrados sem comparação exaustiva.

Os shingles pegam repetições lexicais, mas deixam passar o mesmo esqueleto com palavras diferentes. Para isso, são necessárias métricas estruturais:

• Jaccard por shingles: proporção de n-gramas em comum entre dois textos;
• estimativa MinHash: aproximação rápida do mesmo valor em grandes corpora;
• distinct-n: proporção de n-gramas únicos dentro de um conjunto de textos, e uma queda sinaliza monotonia;
• self-BLEU: quanto cada texto se parece com os demais da amostra;
• variação no comprimento das frases e dos parágrafos: em textos padronizados, ela é anormalmente pequena;
• repetição de inícios de frase e de formulações de títulos;
• similaridade na sequência de seções: introdução, lista e conclusão sempre na mesma ordem.

Como aplicar na prática

Comece por uma linha de base. Pegue de 100 a 200 textos escritos por humanos na sua publicação e calcule as métricas sobre eles. Depois faça o mesmo com materiais de IA sobre os mesmos temas. A diferença entre as duas distribuições é o seu nível real de padronização, e não a impressão do editor.

Em seguida, defina limites e integre a verificação ao pipeline. Cada texto novo é comparado com uma amostra recente via MinHash e LSH e, se passar do limite, volta para revisão. As métricas estruturais devem ser analisadas separadamente: um valor alto nelas combinado com um valor baixo nos shingles indica o mesmo esqueleto com palavras diferentes.

Quando as métricas vão mal, aumentar a temperatura não é a única saída. Funcionam também amostras de estilo variadas no prompt, mudança na estrutura da tarefa conforme o tipo de material, sorteio do ângulo de abordagem a partir de uma lista preparada com antecedência e inserções factuais obrigatórias: números, citações, dados internos. O último ponto pesa mais que os outros, porque o modelo não consegue reproduzir de forma padronizada um fato que ele não tem.

A limitação do método é simples: ele mede a forma, não a qualidade. Um texto único em termos de shingles pode ser vazio, e um esqueleto repetido às vezes se justifica pelo gênero, como em um resumo de notícias. As métricas servem para enxergar o problema, e a decisão continua com o editor.