DetectorScope rend transparent le détecteur de textes IA, jusqu'ici une boîte noire

Les détecteurs de textes IA tranchent aujourd'hui des questions dont dépendent des personnes : relecture d'articles scientifiques, notation à l'université, commissions d'admission, rédactions et modération de contenu. Les plus performants sont des classificateurs neuronaux fine-tunés, et leur verdict ne peut pas être expliqué. Les alternatives transparentes, fondées sur la stylométrie et des critères linguistiques, sont nettement moins précises.

Une équipe de chercheurs, parmi lesquels Liam Dugan, Callum McDougall, Matthew Denton, Philip Pham, Kristina Keser-Chen et Chris Callison-Burch, propose de contourner ce dilemme. Leur pipeline DetectorScope prend un détecteur existant et construit par-dessus un classificateur reposant sur des concepts lisibles par un humain. L'article est accepté dans le programme principal d'EMNLP 2026, et le code est publié dans le dépôt google-deepmind/detectorscope.

Cinq étapes de la boîte noire à l'audit

L'idée s'appuie sur les autoencodeurs parcimonieux (SAE), un outil d'interprétabilité qui décompose les activations internes d'un modèle en features distinctes. Les auteurs ne l'ont pas appliqué à un modèle de langage généraliste, mais au détecteur lui-même. Le pipeline se déroule ainsi :

• Entraînement des SAE. Les autoencodeurs sont entraînés directement sur le residual stream du détecteur neuronal fine-tuné.
• Auto-interprétation. Chaque feature du SAE reçoit automatiquement une description textuelle : ce qu'elle capte précisément dans le texte.
• Filtre de fidélité. Seules sont conservées les features dont les descriptions générées passent un seuil global de fiabilité. Tout ce qui n'a pas pu être décrit de façon convaincante est écarté.
• Classificateur léger. Un modèle simple est entraîné sur les features interprétables retenues, et c'est lui qui rend le verdict final.
• Audit. Pour toute décision, on peut voir quels concepts se sont activés et pourquoi le texte a été jugé machine ou humain.

Le filtre par seuil est ici essentiel. Les légendes automatiques des features peuvent être élégantes et fausses ; sans vérification, l'audit se réduirait à une illusion de transparence. L'exigence de fiabilité globale ne laisse dans le classificateur final que les critères auxquels on peut se fier.

Ce que les chercheurs ont trouvé dans le détecteur

Le principal résultat de fond : les SAE font émerger des concepts cachés qui correspondent à des « marqueurs » linguistiques concrets et prédictifs du texte IA. Il ne s'agit pas de notions abstraites comme la « fluidité stylistique » ou la « perplexité élevée », mais d'indices de langue spécifiques qu'un analyste peut lire, vérifier sur des exemples et contester. Pour un relecteur de revue ou un enseignant, c'est la différence entre « le système a dit 94% » et « le système a repéré telles et telles constructions ».

Sur la précision, les auteurs rapportent deux conclusions. Les détecteurs auditables conservent la qualité de la boîte noire d'origine, aussi bien sur des données de la même distribution que sur des textes hors distribution. Par ailleurs, sur les textes out-of-distribution, les classificateurs bâtis sur les features extraites font mieux que les alternatives neuronales et stylométriques. C'est la zone la plus douloureuse en détection : les générateurs changent vite, et les détecteurs entraînés sur d'anciens modèles échouent sur les nouveaux.

Il faut aussi considérer l'autre face. Des critères compréhensibles facilitent non seulement l'audit, mais aussi le contournement : qui sait sur quels « marqueurs » le détecteur repère un texte peut les effacer. C'est le prix habituel de la transparence, et il faudra le traiter par des politiques d'usage, pas seulement par l'architecture.

Comment l'appliquer

Pour les équipes qui utilisent déjà des détecteurs pour vérifier des travaux, choisir des relecteurs ou modérer, DetectorScope décrit une voie praticable : ne pas changer le modèle, mais ajouter par-dessus une couche d'explication. La méthode est présentée comme valable pour un détecteur quelconque ; il n'est donc pas nécessaire de remplacer les solutions existantes de zéro.

Les conséquences pratiques sont évidentes. Les cas litigieux peuvent être examinés d'après la liste des critères activés, et non d'après un seul chiffre de probabilité. Les erreurs systémiques, par exemple un biais contre les auteurs qui n'écrivent pas dans leur langue maternelle, sont plus faciles à repérer quand on voit quels concepts font pencher le verdict. Quant aux régulateurs et aux organisations qui doivent documenter des décisions automatisées concernant des personnes, un détecteur auditable leur fournit une pièce à joindre au rapport.

Le code est ouvert : la méthode peut donc être testée sur ses propres données et son propre détecteur. Ce sont ces vérifications qui montreront dans quelle mesure les descriptions des features restent stables d'un domaine et d'une langue à l'autre.