Un auteur de Habr teste combien de retouches il faut pour effacer le filigrane d'un LLM

Un auteur de Habr s'est attaqué à la mesure d'une question encore débattue en théorie : jusqu'où faut-il modifier un texte pour que le filigrane d'un modèle de langage ne soit plus lisible ? Le point de départ est l'affirmation selon laquelle Claude marque déjà ses sorties, tandis qu'OpenAI déploie un mécanisme analogue. L'introduction pose quatre questions, mais ne donne aucun résultat : l'auteur renvoie les mesures à la partie principale. Les questions, elles, sont bien choisies, et ce sont elles qui déterminent ce qu'on peut attendre des marques en pratique.

Comment fonctionne la marque

Un filigrane textuel ne se cache pas dans les caractères. Il s'agit en général d'un biais statistique dans le choix des tokens : une clé secrète détermine quels mots le modèle pondère légèrement plus. Le lecteur ne voit aucune différence. Un détecteur disposant de la clé calcule la part de tokens « préférés » et la compare à celle attendue pour un texte aléatoire. Des chercheurs de l'université du Maryland ont décrit en 2023 le schéma à listes « vertes » et « rouges », et Google a ensuite publié sa propre variante, SynthID-Text.

L'introduction ne précise pas quel schéma est utilisé chez Claude et chez OpenAI. L'auteur renvoie à deux analyses publiées sur Habr, qui expliquent le mécanisme en détail, y compris les moyens de le contourner.

Cela implique une propriété essentielle : le signal s'accumule avec la longueur. Une seule phrase ne prouve presque rien, un long texte prouve beaucoup. Chaque remplacement de mots dilue ce signal.

Les quatre questions de l'expérience

• Profondeur de la réécriture. Quelle part d'un gros pavé de « neuro-slop » faut-il réécrire pour que le détecteur cesse de le signaler avec certitude. La mesure retenue est la proportion de tokens modifiés.
• Deux marques à la fois. Si la réécriture est faite par un autre modèle, lui aussi filigrané, obtient-on un texte portant deux traces, et avec quelle certitude chacune est-elle détectée.
• Texte humain retouché par une IA. Correction d'erreurs et de ponctuation, réécriture de quelques paragraphes : où passe la frontière au-delà de laquelle le texte est considéré comme généré.
• Code. Où la marque peut-elle se trouver, le cas échéant : dans les commentaires, dans des parenthèses superflues, dans les noms de variables.

La dernière question est la plus intéressante sur le plan technique. Une marque statistique a besoin de liberté de choix : le modèle doit disposer de plusieurs continuations presque équivalentes. Le texte en offre beaucoup. Dans le code, la syntaxe et les API imposent strictement la plupart des tokens, et il reste moins de marge pour introduire un biais. C'est un principe général de ces schémas, pas un résultat de l'auteur. La partie principale dira si les mesures le confirment pour les modèles commerciaux.

Ce que l'on ignore encore

D'après le texte, les détecteurs pour Claude et OpenAI ne sont pas apparus en accès public. L'auteur part du principe qu'ils finiront par exister, et que les textes déjà écrits pourront alors être vérifiés a posteriori. C'est le principal risque qu'il décrit : un rapport pour un client, un travail scientifique ou un texte dont vous répondez personnellement.

La détection a aussi son revers. Tout seuil de confiance produit des faux positifs, en particulier sur les textes courts et sur les textes légèrement retouchés par un modèle. Les résultats des mesures sur la troisième question importent donc non seulement à ceux qui veulent retirer la marque, mais aussi à ceux qui pourraient être accusés à tort.

Conclusions pratiques

Tant qu'il n'existe ni détecteurs publics ni mesures publiées, mieux vaut agir calmement et à l'avance.

• Conservez vos brouillons et l'historique des modifications. C'est la meilleure preuve d'auteur, meilleure que n'importe quel détecteur.
• Si vous travaillez avec un client ou une revue, renseignez-vous à l'avance sur leur politique en matière d'aide de l'IA et consignez l'accord par écrit.
• Ne considérez pas le déclenchement d'un détecteur comme une condamnation : la marque donne une probabilité, pas une preuve.
• Il vaut mieux ne pas envoyer de données confidentielles à des modèles dans le cloud pour « lisser » un texte, indépendamment des filigranes.
• Attendez la partie principale de l'expérience et confrontez les conclusions à la méthodologie : taille de l'échantillon, langue des textes, versions des modèles.

L'expérience publiée sur Habr peut donner de premiers repères sur les seuils de retouche. Pour l'instant, ce sont des questions, pas des réponses.