Les IA éditrices réécrivent le texte en silence : comment mesurer la part de modifications avant de choisir un modèle

Vous confiez un article à une IA en lui demandant : « corrige uniquement les erreurs ». Elle vous renvoie un texte lisse, dans lequel l'auteur n'est plus reconnaissable. Cela vous dit quelque chose ? Ce n'est pas le caprice d'un seul modèle, mais un comportement par défaut, et on a déjà essayé de le mesurer.

Demander « uniquement la grammaire » ne protège pas le sens

Dans un preprint de 2026, des chercheurs de Berkeley, de Google DeepMind et d'autres organisations ont comparé les corrections de personnes et de trois modèles d'IA sur 86 essais. Les humains corrigeaient par petites touches, dans des directions variées. Les modèles éloignaient nettement le texte de l'original. L'interdiction explicite n'y changeait rien : le sens se modifiait même après les remarques d'un expert et la demande de ne corriger que la grammaire. Dans une expérience voisine, chez ceux qui écrivaient activement avec une IA, la part d'essais neutres, sans position sur la question, a augmenté de près de 70 %.

D'où une conclusion pratique : on ne peut pas choisir un éditeur d'après l'impression que « c'est mieux ». La fluidité est justement le symptôme de la réécriture.

Les classements n'aident pas ici. Kimi K3 figure dans le top 20 du segment russe d'Arena, DeepSeek V3.2 occupe la 4e place sur llmarena.ru, Qwen3.5-27B est premier dans la colonne des textes longs de MERA Reason, et Grok 4.7 est 13e dans le classement populaire AI-Stat. Mais ces tableaux mesurent des dialogues, des jeux de rôle et des textes longs, pas la correction de l'article d'un tiers. De plus, les places issues de tableaux différents ne sont pas comparables entre elles : participants, tâches et dates diffèrent.

Comment mesurer l'ampleur des modifications

D'abord, le prompt. Énumérez nommément les corrections autorisées (orthographe, ponctuation, grammaire, coquilles évidentes), interdisez tout le reste et ajoutez « en cas de doute, ne corrige pas ». Demandez de renvoyer le texte complet et la liste des corrections au format « avant → après ». Si le texte comporte plus de changements que la liste, le modèle a corrigé en silence.

Ensuite, on calcule. La différence s'affiche avec la commande git diff --no-index --word-diff original.txt edited.txt. La part de modifications est donnée par un court script Python avec difflib : on découpe les deux textes en mots et signes de ponctuation, puis on prend un moins le ratio de SequenceMatcher. Seuils indicatifs : jusqu'à 5 % — correction ponctuelle, à partir de 15 % — réécriture. Mais commencez par appliquer la même métrique à la correction d'un éditeur humain : c'est elle qui doit servir d'étalon.

Il y a un piège. Si le modèle a déplacé des paragraphes, le calcul par mots y verra une suppression et une nouvelle insertion, alors qu'il n'y a aucun texte nouveau. Devatine et Abraham proposent, pour ces cas, une métrique fondée sur la compression LZ77.

Une approximation grossière est fournie par le zlib standard : on compresse l'original avec la version corrigée et on regarde ce qui s'est ajouté. La fenêtre de zlib est de 32 Ko, il faut donc découper un long article par sections. Un word_share élevé avec un compression_share faible signifie probablement une permutation de blocs.

Si les deux valeurs sont élevées, le modèle a réécrit à neuf. Il s'agit d'une simplification, pas du code des auteurs.

Check-list pour tester sur votre propre article

• Prenez un article de 3 000 à 5 000 signes et lancez chaque modèle dans une nouvelle conversation avec le même prompt.
• Désactivez ou limitez le mode de raisonnement. Lors d'un crash-test de 27 modèles, les modèles chinois dépensaient 51 000 à 68 000 tokens avec ce mode, tandis que GPT-6 Astra et Gemini 4 Argon se contentaient de 6 461 à 9 841. Vous paierez cette différence en temps et en argent.
• Calculez word_share et compression_share, puis cherchez les caractères chinois avec une expression régulière. Lors d'un test à l'aveugle, ils ont été insérés par Tencent Hy4 Preview et NVIDIA Nemotron 3.5 Super VL, tandis que Qwen, DeepSeek et Kimi ne figurent pas parmi eux. Mais un seul mot étranger par article échappe facilement à l'œil.
• Comparez le diff avec la liste de corrections du modèle : chaque écart signale une modification silencieuse.
• Relisez les passages modifiés : le script ne voit pas que le sens a disparu.

En résumé

Les seuils et le code présentés ici sont un point de départ, le résultat dépend du texte, et les versions des modèles changent vite : en octobre 2026, on citait déjà Qwen 3.8 Max et DeepSeek V4.1 parmi les modèles phares chinois. Il est donc pratique de transformer ce test en test de régression du prompt et de le répéter après chaque ajustement. Vérifiez à l'avance, sur le site de chaque modèle, l'inscription et le paiement depuis la Russie.

On peut confier la relecture au modèle dont les parts de modifications se rapprochent le plus de la correction d'un éditeur humain et qui ne fait aucune modification silencieuse. La fluidité du résultat ne joue aucun rôle dans ce choix. Et vous, quelle part de texte modifié jugez-vous acceptable pour vos articles ?