Traduction et retouche par IA n'ont pas dupé les détecteurs : après elles, Doumeit a relevé la part d'IA de 5 à 25 %

Si l'on demande à un étudiant comment « passer l'antiplagiat », il citera deux méthodes : demander à un chatbot de retoucher le texte avec un prompt spécial, ou le faire passer par une traduction en anglais puis retour en russe. L'autrice de cette expérience, publiée sur Habr, a voulu vérifier si cela fonctionne vraiment. Et, par la même occasion, comprendre pourquoi les détecteurs s'en prennent parfois à des travaux tout à fait humains.

Comment l'expérience a été menée

Cinq textes de 11 à 12 000 signes chacun ont été retenus. Le premier est une demande de subvention de l'autrice, datant de 2021, sur les stations d'épuration. Le deuxième est son « jumeau », généré par Claude à partir du même cahier des charges. Les trois autres sont des travaux d'une même étudiante en philologie : des mémoires de cours de 2024 et 2025 et un mémoire de fin d'études de 2026. Tous ont été soutenus avec la note maximale, « 5 ».

Deux procédés ont été appliqués aux textes. Le premier : une retouche par IA avec ChatGPT, selon un prompt demandant d'alterner la longueur des phrases, de changer l'ordre des mots, d'éviter les transitions trop lisses et de ne pas toucher au sens. Le second : des traductions par Claude RU→EN, EN→RU et une double traduction RU→EN→RU. Les vérifications ont été faites avec Doumeit et GPTZero (modèle 4.1m). L'antiplagiat n'a été lancé que de façon sélective : un test complet coûtait trop cher.

Ce qu'ont montré les détecteurs

Le texte humain a été jugé humain, avec 0 % d'IA, par GPTZero et par l'antiplagiat après tout traitement. Doumeit, lui, a affiché 51,1 % d'IA après la double traduction. L'autrice affirme avoir trouvé la cause et l'avoir éliminée, après quoi le score est tombé presque à zéro. Elle promet les détails dans un article séparé : il faut donc, pour l'instant, la croire sur parole.

Pour le texte machine, c'est plus morne pour ceux qui voudraient tricher. Doumeit n'a réduit la part d'IA que de moins de 3 % après n'importe quelle retouche. GPTZero a bougé le plus avec la retouche par prompt : la probabilité d'IA a chuté de 38 %, soit presque de moitié. Mais le verdict « génération » est resté.

Une observation distincte concerne la langue. Doumeit, qui est russophone, repère avec assurance la génération en russe, mais a évalué le texte anglais généré à 0 % d'IA. GPTZero, à l'inverse, donne 100 % sur l'anglais et des pourcentages moins précis sur le russe, bien que le verdict soit correct. Chaque détecteur fonctionne mieux dans sa langue « maternelle ».

Sur les mémoires réels, la part d'IA selon GPTZero est passée de 0 % à 56 % en trois ans, et selon Doumeit de 12,5 % à 70 %. Le directeur scientifique doutait de ces 70 % pour le mémoire de fin d'études. L'autrice affirme avoir réussi à réduire sensiblement ce score sans modifier le contenu. Dans ces travaux, la « retouche » a le plus souvent augmenté la part d'IA dans Doumeit de 5 à 25 %, et ne l'a diminuée que dans un seul cas, de 3 %.

Limites et conclusion pratique

Ce n'est pas une étude à échantillon représentatif. Cinq textes, une seule autrice, des versions de détecteurs non entièrement précisées (celle de Doumeit n'est pas indiquée), et les tableaux de chiffres exacts ne sont pas visibles dans ce résumé. Le mécanisme des faux positifs de Doumeit n'est pas expliqué ; il est renvoyé à plus tard. Ces conclusions doivent donc être considérées comme une hypothèse, et non comme un fait établi.

Trois enseignements sont utiles à ceux qui conçoivent ou déploient ce type de produits. Premièrement, les détecteurs réagissent différemment aux retouches : Doumeit a pris un texte humain pour un texte machine après traduction, GPTZero ne s'y est pas laissé prendre. Deuxièmement, la langue du texte influe sur la fiabilité, et un détecteur pour le russe ne doit pas être appliqué à des travaux en anglais. Troisièmement, un pour cent de part d'IA n'est pas un motif de sanction. Si le score varie après un léger traitement, il faut le recouper avec un second outil et une discussion avec l'auteur.

Pour les étudiants, la conclusion de l'autrice est directe : la machine ne rendra pas un texte humain. Pour les universités et les équipes edtech, elle est moins évidente : au lieu d'un seuil en pourcentage, mieux vaut regarder la part de texte « humain » et utiliser plusieurs détecteurs. Tant que les causes des faux positifs ne sont pas publiées, la vérification par Doumeit doit être considérée comme un repère, et non comme un verdict.