Habr: cómo medir con shingles y MinHash el carácter plantillado de los textos de IA

Los textos que las redes neuronales escriben para marketing de contenidos y medios se parecen cada vez más entre sí: el mismo arranque, tres argumentos y un párrafo de «conclusiones». Un análisis en Habr propone medir este fenómeno con métricas: shingles, MinHash e indicadores de estructura. Para dar una idea de escala: MinHash con 128 funciones hash ofrece un error estándar en la estimación de similitud no superior a 4,4 puntos porcentuales, y eso basta para buscar la plantilla en miles de materiales. El anuncio solo expone las tesis principales, así que a continuación se describe cómo funcionan estos métodos y dónde aplicarlos.

De dónde sale la plantilla

El modelo elige la continuación más probable. Con una temperatura baja e instrucciones rígidas, llega una y otra vez a las mismas formulaciones. A ello se suma el ajuste fino con preferencias humanas: los evaluadores aprueban con más frecuencia una respuesta cuidada, neutra y bien estructurada, y el modelo consolida precisamente ese estilo. Las investigaciones sobre RLHF documentan una reducción de la diversidad de las salidas respecto a los modelos base.

El tercer factor son los propios prompts. Los equipos se copian instrucciones que funcionan, del tipo «escribe un artículo con introduction, tres secciones y conclusión». Distintos modelos, con el mismo esqueleto, producen resultados emparentados.

Con qué medir la similitud

Los shingles son ventanas deslizantes de n palabras. El texto se convierte en un conjunto de esas ventanas, y la similitud se calcula como coeficiente de Jaccard: el tamaño de la intersección dividido por el tamaño de la unión. En ruso suelen usarse ventanas de 3–5 palabras, y el parámetro habrá que ajustarlo según el género.

El problema es el coste: comparar todos los pares en un corpus de 10 000 textos supone unos 50 millones de pares. Aquí ayuda MinHash. Cada texto se comprime en una firma corta, y la proporción de posiciones coincidentes entre dos firmas estima el coeficiente de Jaccard. Si se añaden cubetas LSH, los candidatos similares se encuentran sin recorrer todas las combinaciones.

Los shingles detectan repeticiones léxicas, pero pasan por alto un mismo esqueleto con palabras distintas. Para eso hacen falta métricas estructurales:

• Jaccard por shingles: proporción de n-gramas comunes entre dos textos;
• estimación MinHash: aproximación rápida del mismo valor en corpus grandes;
• distinct-n: proporción de n-gramas únicos dentro de un conjunto de textos; una caída indica monotonía;
• self-BLEU: cuánto se parece cada texto al resto de la muestra;
• dispersión de la longitud de frases y párrafos: en los textos plantillados es anormalmente baja;
• repetición de inicios de frase y de formulaciones de titulares;
• similitud en la secuencia de secciones: introducción, lista y conclusión en el mismo orden.

Cómo aplicarlo en la práctica

Empiece por una línea base. Tome entre 100 y 200 textos escritos por personas en su medio y calcule las métricas sobre ellos. Después haga lo mismo con materiales de IA sobre los mismos temas. La diferencia entre ambas distribuciones es su nivel real de plantilla, y no la impresión de un editor.

A continuación, fije umbrales e integre la comprobación en el flujo de trabajo. Cada texto nuevo se compara con una muestra reciente mediante MinHash y LSH, y si supera el umbral se devuelve para su revisión. Conviene examinar las métricas estructurales por separado: un valor alto en ellas con uno bajo en shingles indica el mismo esqueleto con palabras distintas.

Si las métricas son malas, subir la temperatura no es lo único que ayuda. También funcionan los distintos ejemplos de estilo en el prompt, cambiar la estructura del encargo según el tipo de material, elegir al azar el enfoque a partir de una lista preparada de antemano e incluir datos factuales obligatorios: cifras, citas, datos internos. Este último punto es el más importante, porque el modelo no puede reproducir como plantilla un hecho que no tiene.

La limitación del método es sencilla: mide la forma, no la calidad. Un texto único según los shingles puede estar vacío, y un esqueleto repetido a veces se justifica por el género, por ejemplo en un resumen de noticias. Las métricas sirven para ver el problema; la decisión sigue en manos del editor.