Утечка в OOD-бенчмарках: как загрязнённый класс обрушил AUROC детектора до 0.326

Des chercheurs, dans un préprint sur arXiv (arXiv:2607.19393, juillet 2026), ont montré qu'une méthode courante de constitution des benchmarks OOD peut fausser les résultats : un détecteur d'anomalies a obtenu un AUROC de 0.326 — en dessous du niveau de hasard de 0.5 — simplement parce que la classe « étrangère » était en réalité présente dans l'ensemble d'entraînement du modèle.

Pourquoi le détecteur s'est révélé pire qu'une pièce de monnaie

L'AUROC de 0.326 résultait d'une fuite du benchmark : la classe étiquetée comme OOD (« hors distribution ») figurait parmi celles sur lesquelles le modèle avait déjà été entraîné. Ses exemples se sont retrouvés à l'intérieur de l'ensemble in-distribution, et le détecteur était pénalisé pour les avoir correctement reconnus comme familiers. Après la suppression de cette classe et le réentraînement de 35 modèles sur deux domaines, l'indicateur est monté à 0.911 — passant d'un effondrement sous le niveau du hasard à un résultat quasi excellent. La métrique elle-même n'a pas changé — seule la propreté du benchmark a changé.

Qu'est-ce qu'une empreinte de fuite

Une empreinte de fuite (leak fingerprint) est une paire de signaux permettant aux auteurs de distinguer un benchmark contaminé d'un benchmark propre. La contamination se trahit lorsqu'un classificateur supervisé sépare les exemples OOD de manière quasi parfaite (AUROC≈1), tandis qu'un détecteur non supervisé s'effondre en dessous de 0.65. Cet écart est précisément le marqueur indiquant que la classe « étrangère » est en réalité familière au modèle.

Faits clés de l'étude :

• L'AUROC est passé de 0.326 à 0.911 après la suppression de la classe ayant fuité et le réentraînement de 35 modèles sur deux domaines
• Empreinte de fuite : décodabilité supervisée avec AUROC≈1 associée à une détection non supervisée inférieure à 0.65
• Validation sur 52 configurations (20 avec fuite, 32 propres) — ResNet-50 et ViT-B/16 sur CIFAR-10/100
• Précision du diagnostic : sensibilité de 18/20 et spécificité de 31/32 dans l'espace des embeddings
• Les contrôles avec exclusion de l'ensemble d'entraînement ont parfaitement fonctionné — 20/20

Quelle est l'ampleur du problème

Les benchmarks standard inter-jeux de données sont majoritairement propres — c'est la principale conclusion pratique. Un audit de 24 paires standard near/far OOD a révélé une fuite dans exactement une paire (la paire notoirement difficile CIFAR-100 contre CIFAR-10) et dans aucune paire far-OOD, ce qui confirme la spécificité du diagnostic.

Avec le protocole corrigé, la méthode des perturbations s'est révélée inutile : un lecteur supervisé récupère le signal OOD avec un AUROC de 0.87–1.00, mais aucun détecteur non supervisé n'y parvient, et la méthode elle-même ne surpasse pas la distance de Mahalanobis classique.

«

Les signaux de perturbation sont décodables, mais non détectables », c'est ainsi que les auteurs du préprint formulent la conclusion principale.

Ce que cela signifie

Ce résultat est un avertissement pour les chercheurs en ML : un AUROC anormalement bas (inférieur à 0.5) peut ne pas indiquer un mauvais détecteur, mais un benchmark contaminé. Les auteurs ne proposent pas une nouvelle méthode de détection OOD, mais un protocole corrigé et un test de fuite prêt à l'emploi — et, par souci de transparence, ils rétractent une corrélation erronée antérieure.

Questions fréquentes

Qu'est-ce que la détection OOD ?

La détection OOD (out-of-distribution) est la reconnaissance de données qui ne ressemblent pas à celles sur lesquelles le modèle a été entraîné. Elle est nécessaire pour que le modèle ne donne pas de réponses assurées face à des entrées inconnues ou anormales.

Pourquoi l'AUROC était-il inférieur à 0.5 ?

L'AUROC de 0.326, inférieur au niveau de hasard de 0.5, résultait d'une fuite : la classe « étrangère » se trouvait dans l'ensemble d'entraînement, si bien que le détecteur était pénalisé pour avoir pris la bonne décision. Après élimination de la fuite, la métrique est passée à 0.911.

Cela affecte-t-il les benchmarks standard ?

Majoritairement non. Un audit de 24 paires standard near/far OOD n'a trouvé de fuite que dans une seule paire — CIFAR-100 contre CIFAR-10 —, tandis que le schéma habituel de construction des benchmarks inter-jeux de données a été jugé propre.