Habr : mesurer le côté « gabarit » des textes d'IA avec les shingles et MinHash

Les textes que les réseaux de neurones rédigent pour le marketing de contenu et les médias se ressemblent de plus en plus : même accroche, trois arguments, un paragraphe de « conclusions ». Une analyse publiée sur Habr propose de le mesurer avec des métriques : les shingles, MinHash et des indicateurs de structure. Pour donner un ordre de grandeur : MinHash avec 128 fonctions de hachage donne une erreur standard d'estimation de la similarité d'au plus 4,4 points de pourcentage, ce qui suffit pour détecter un gabarit parmi des milliers de contenus. L'annonce ne dévoile que les grandes lignes ; nous décrivons donc ci-dessous le fonctionnement de ces méthodes et les cas où les appliquer.

D'où vient le gabarit

Le modèle choisit la suite la plus probable. Avec une température basse et des consignes strictes, il retombe sans cesse sur les mêmes formulations. S'y ajoute l'affinage sur les préférences humaines : les évaluateurs approuvent plus souvent une réponse soignée, neutre et bien structurée, et le modèle fige précisément ce style. Des études sur le RLHF constatent une baisse de la diversité des sorties par rapport aux modèles de base.

Le troisième facteur, ce sont les prompts eux-mêmes. Les équipes se copient mutuellement les consignes efficaces, du genre « rédige un article avec une introduction, trois sections et une conclusion ». Sur une même ossature, des modèles différents produisent des résultats apparentés.

Comment mesurer la similarité

Les shingles sont des fenêtres glissantes de n mots. Un texte devient un ensemble de ces fenêtres, et la similarité se calcule comme un coefficient de Jaccard : la taille de l'intersection divisée par la taille de l'union. Pour le russe, on prend en général des fenêtres de 3–5 mots, et il faudra ajuster ce paramètre selon le genre éditorial.

Le problème, c'est le coût : comparer toutes les paires d'un corpus de 10 000 textes représente environ 50 millions de paires. C'est là que MinHash intervient. Chaque texte est compressé en une courte signature, et la part de positions identiques entre deux signatures estime le coefficient de Jaccard. Avec des buckets LSH, on trouve les candidats similaires sans énumération exhaustive.

Les shingles repèrent les répétitions lexicales, mais passent à côté d'une même ossature construite avec des mots différents. Il faut pour cela des métriques de structure :

• Jaccard sur les shingles : part de n-grammes communs entre deux textes ;
• estimation MinHash : approximation rapide de la même valeur sur de grands corpus ;
• distinct-n : part de n-grammes uniques au sein d'un ensemble de textes, une baisse signale de la monotonie ;
• self-BLEU : degré de ressemblance de chaque texte avec les autres de l'échantillon ;
• dispersion de la longueur des phrases et des paragraphes : anormalement faible dans les textes calqués sur un gabarit ;
• répétition des débuts de phrases et des formulations de titres ;
• similarité de la séquence des sections : introduction, liste, conclusion dans le même ordre.

Comment l'appliquer en pratique

Commencez par une base de référence. Prenez 100–200 textes écrits par des humains dans votre publication et calculez les métriques sur ce corpus. Faites ensuite la même chose avec des contenus d'IA sur les mêmes sujets. L'écart entre les deux distributions est votre niveau réel de gabarit, et non l'impression d'un rédacteur.

Définissez ensuite des seuils et intégrez le contrôle dans votre chaîne de production. Chaque nouveau texte est comparé à un échantillon récent via MinHash et LSH, et renvoyé en retravail s'il dépasse le seuil. Il vaut mieux examiner les métriques de structure séparément : un score élevé sur celles-ci avec un score faible sur les shingles signifie une même ossature avec des mots différents.

Si les métriques sont mauvaises, augmenter la température ne suffit pas. Plusieurs leviers fonctionnent : des exemples de styles variés dans le prompt, une structure de consigne adaptée au type de contenu, le tirage aléatoire d'un angle dans une liste préparée à l'avance et des apports factuels obligatoires (chiffres, citations, données internes). Ce dernier point compte plus que les autres, car un modèle ne peut pas reproduire de façon stéréotypée un fait qu'il ne possède pas.

La limite de la méthode est simple : elle mesure la forme, pas la qualité. Un texte unique du point de vue des shingles peut être vide, et une ossature répétitive est parfois justifiée par le genre, par exemple dans une brève d'actualité. Les métriques servent à repérer le problème ; la décision reste à la rédaction.