Un détecteur de slop IA maison repère par code 5 des 12 signes d'un texte généré par IA

Un auteur de Habr a passé 12 signes de slop IA, c'est-à-dire d'un texte produit par un réseau de neurones et jamais relu, au crible des vérifications de son propre détecteur. Le code en repère cinq, dont deux seulement en partie. Les sept autres ne reposent que sur des règles destinées à l'éditeur. Lors d'un essai, le script a laissé passer deux phrases d'introduction typiques : « Dans cet article, nous allons examiner » et « La conclusion est simple » suivie de deux-points.

Pourquoi un pourcentage global ne règle rien

Les détecteurs en ligne répondent par un chiffre et n'expliquent pas ce qui ne va pas dans le texte. Or ce pourcentage lui-même n'est pas fiable. Dans l'étude de Liang et ses coauteurs, sept détecteurs ont jugé générés par une machine, en moyenne, 61 % des essais TOEFL écrits par des personnes dont l'anglais n'est pas la langue maternelle. Un tel détecteur se trompe systématiquement quand l'auteur écrit de façon soignée et prudente, ce qu'il interprète comme un signe de « machine ».

OpenAI a retiré son classifieur de textes d'IA à l'été 2023, faute de précision suffisante. Si le développeur des modèles eux-mêmes n'a pas réussi à produire un outil généraliste fiable, il y a peu de raisons d'attendre mieux d'un service quelconque qui affiche un pourcentage.

Une vérification ciblée plutôt qu'un verdict

L'auteur choisit une autre approche. Son script cite la phrase concrète et la règle qui l'a déclenché, et chaque alerte peut être contestée séparément. L'éditeur ne lit pas « texte écrit à 73 % par une IA », mais « voici cette phrase d'introduction et voici la règle ».

Les éditeurs de Wikipédia suivent la même logique. Ils tiennent une liste publique de signes de texte généré par IA et précisent qu'un signe indique un problème possible, mais ne prouve rien à lui seul. Le script part du même principe : il cherche les traces d'un texte non relu et ne détermine pas la paternité. Le score global de ce détecteur a déjà fait l'objet d'une analyse distincte sur Habr.

Le détail en chiffres

• Nombre total de signes de slop IA dans l'analyse : 12.
• Détectés par le code : 5, dont 2 en partie.
• Réservés à l'éditeur : 7.
• Manqués lors de l'essai : « Dans cet article, nous allons examiner » et « La conclusion est simple : ».
• Faux positifs selon Liang et ses coauteurs : en moyenne 61 % des essais TOEFL écrits par des personnes dont l'anglais n'est pas la langue maternelle.
• Classifieur d'OpenAI retiré à l'été 2023.

Où passe la frontière entre le code et l'éditeur

L'annonce ne liste pas les 12 signes ; l'analyse complète se trouve sous le cut. Mais les deux phrases manquées donnent une idée d'ensemble. Même les introductions formulaires, qui semblent une cible idéale pour une expression régulière, passent à travers dès que la forme change : autre verbe, autre ponctuation, autre ordre des mots. C'est mon interprétation, et non la conclusion de l'auteur, mais elle tient la route. Le code est fiable quand le signe est en surface et se répète mot pour mot. Les signes qui exigent de comprendre le sens restent du ressort de l'humain : la généralisation creuse, l'absence de précisions concrètes, le paragraphe dont on peut retirer la moitié des mots sans rien perdre.

Comment l'appliquer en pratique

Si vous mettez en place une vérification pour une rédaction ou pour votre propre blog, voici quelques règles à retenir de cette analyse.

• Répartissez les signes en deux listes : ce que vérifie le script et ce que vérifie un humain. N'essayez pas de tout faire entrer dans le code.
• Chaque alerte doit afficher la phrase et la règle. L'éditeur peut alors l'accepter ou la rejeter en quelques secondes.
• Enrichissez le dictionnaire à partir des oublis. Les deux phrases passées à travers fournissent déjà le travail de la prochaine itération.
• N'utilisez pas le résultat comme preuve de paternité. Soyez particulièrement prudent avec les textes d'auteurs dont la langue n'est pas la langue maternelle : les erreurs des détecteurs les touchent le plus.
• Gardez la relecture comme étape obligatoire. Le script réduit le travail manuel, mais ne le remplace pas.

Le bilan est simple : une vérification qui explique son résultat est plus utile qu'un verdict qu'il faut croire sur parole.