Modifier 10 % des mots fait chuter la détection du filigrane d’OpenAI de 92 % à 66 %

Le filigranage du texte semble être une solution pratique : le modèle marque discrètement sa réponse, puis un détecteur spécialisé en détermine l’origine. En pratique, tout se heurte à un problème bien connu des produits : l’utilisateur n’est pas tenu de publier la réponse sans la modifier. Il peut la raccourcir, réorganiser les phrases, la traduire ou demander à un autre modèle de la réécrire. Après un tel traitement, le signal caché s’affaiblit rapidement.

OpenAI a présenté la méthode textGrain, conçue notamment pour satisfaire aux exigences de l’article 50 de l’AI Act européen. Lors des essais de l’entreprise, elle a retrouvé la marque dans environ 95 % des textes de 400 tokens, mais dans seulement 80 % des textes de 200 tokens. La révision est encore plus révélatrice : remplacer 10 % des mots par des synonymes a fait chuter la détection des passages de 400 tokens de 92 % à 66 %, tandis que le remplacement de 25 % des mots l’a ramenée à 17 %.

Comment un texte reçoit une marque invisible

À chaque étape, un modèle de langage choisit le mot suivant, ou une partie de celui-ci, parmi plusieurs options probables. Par exemple, après la phrase « aujourd’hui, le temps est… », il peut poursuivre avec « chaud » ou « frais ». À l’aide d’une clé secrète, le filigrane influe légèrement sur ce choix. Pour le lecteur, la réponse paraît ordinaire, mais un motif statistique connu du détecteur apparaît dans la séquence des mots.

La particularité de textGrain réside dans la gestion de l’entropie, c’est-à-dire de la marge de variation admissible. Le développeur définit la quantité de liberté qui peut être consacrée à l’intégration du signal, et le système tente de préserver un équilibre entre la visibilité de la marque pour le détecteur et le naturel de la réponse. Il ne s’agit ni d’un tampon ni d’une inscription présente dans chaque phrase : la confiance n’apparaît qu’après l’accumulation d’un nombre suffisant d’indices statistiques.

C’est ce qui pose problème pour les messages courts. Une réponse de deux phrases peut tout simplement ne pas contenir assez de données. Avec un taux annoncé de faux positifs de 1 %, le détecteur signalera à tort environ un texte non filigrané sur cent. Un résultat positif n’indique pas quelle part a été écrite par un humain, tandis qu’un résultat négatif ne prouve pas une paternité humaine.

Pourquoi une révision ordinaire compromet la détection

Le signal dépend non seulement d’un mot isolé, mais aussi de la séquence qui le précède. Si un éditeur remplace un mot, plusieurs segments suivants du motif statistique peuvent changer à leur tour. Ainsi, même une révision littéraire modérée, sans tentative particulière de tromper le système, dégrade sensiblement la détection.

Imaginons un service qui génère une description de produit de 150 mots. Un responsable modifie le titre, supprime des répétitions et remplace une dizaine de formulations. Le texte reste majoritairement produit par le modèle, mais le détecteur peut déjà renvoyer un résultat négatif. L’erreur inverse est elle aussi douloureuse : lors du contrôle de milliers de travaux d’étudiants ou de candidatures, 1 % de faux positifs se transforme en dizaines de soupçons injustifiés.

Il n’existe pas encore d’évaluation indépendante de textGrain. OpenAI en a donné l’accès à un groupe restreint de chercheurs, qui doivent encore tester différentes langues, thématiques et longueurs. L’affirmation de l’entreprise selon laquelle la méthode est comparable ou supérieure à Google SynthID Text n’a pas encore été confirmée par des essais externes.

Ce que doivent faire les développeurs et les équipes produit

Les règles européennes exigent un marquage lisible par machine des contenus synthétiques, qui doit être efficace, interopérable, robuste et fiable dans la mesure où cela est techniquement possible. Il n’existe toutefois pas encore de seuils mesurables pour ces caractéristiques. Le code de bonnes pratiques volontaire n’impose par ailleurs pas de filigrane pour les textes de moins de 200 tokens.

La conclusion pratique est simple : le résultat d’un détecteur ne doit pas constituer à lui seul le fondement d’un blocage, d’une accusation ou d’une sanction. Dans un produit génératif, il vaut mieux combiner plusieurs couches de traçabilité : filigrane, métadonnées signées, identifiant du modèle, journal de génération et indication explicite dans l’interface. Les cas litigieux doivent faire l’objet d’un examen humain et pouvoir être contestés.

Les développeurs devraient tester séparément les scénarios réels d’utilisation : raccourcissement, traduction, correction du style, remplacement de mots et nouvelle génération. Une métrique obtenue sur un texte de laboratoire intact renseigne peu sur le fonctionnement de la fonctionnalité après publication. textGrain semble constituer un signal complémentaire utile, mais pas un détecteur universel de vérité — et le produit doit être conçu en tenant précisément compte de cette limite.