Fuite dans les benchmarks OOD : comment une classe contaminée a fait chuter l'AUROC d'un détecteur à 0.326

Dans un préprint publié sur arXiv (arXiv:2607.19393, juillet 2026), des chercheurs montrent qu'une méthode courante de construction des benchmarks OOD peut fausser les résultats : un détecteur d'anomalies a obtenu un AUROC de 0.326, inférieur au seuil du hasard de 0.5, uniquement parce que la classe « étrangère » était en réalité présente dans le jeu d'entraînement du modèle.

Pourquoi le détecteur s'est retrouvé pire qu'un tirage à pile ou face

L'AUROC de 0.326 découle d'une fuite du benchmark : la classe étiquetée OOD (« hors distribution ») faisait partie de celles sur lesquelles le modèle avait déjà été entraîné. Ses exemples se sont retrouvés dans l'échantillon in-distribution, et le détecteur a été pénalisé pour les avoir correctement reconnus comme familiers. Après suppression de cette classe et réentraînement de 35 modèles sur deux domaines, le score est passé à 0.911, d'un résultat inférieur au hasard à un résultat quasi excellent. La métrique elle-même n'a pas changé ; seule la propreté du benchmark a évolué.

Qu'est-ce que l'empreinte de fuite ?

L'empreinte de fuite (leak fingerprint) est un couple de signaux qui permet aux auteurs de distinguer un benchmark contaminé d'un benchmark propre. La contamination se trahit lorsqu'un classifieur supervisé sépare presque parfaitement les exemples OOD (AUROC ≈ 1) alors que, dans le même temps, un détecteur non supervisé s'effondre sous 0.65. Cet écart signale que la classe « étrangère » est en réalité connue du modèle.

Principaux faits de l'étude :

• L'AUROC est passé de 0.326 à 0.911 après suppression de la classe ayant fuité et réentraînement de 35 modèles sur deux domaines
• Empreinte de fuite : décodabilité supervisée avec AUROC ≈ 1 associée à une détection non supervisée sous 0.65
• Validation sur 52 configurations (20 avec fuite, 32 propres) — ResNet-50 et ViT-B/16 sur CIFAR-10/100
• Précision du diagnostic : sensibilité de 18/20 et spécificité de 31/32 dans l'espace d'embeddings
• Les contrôles par exclusion du jeu d'entraînement ont fonctionné à la perfection : 20/20

Quelle est l'ampleur du problème ?

Les benchmarks inter-datasets standard sont, dans l'ensemble, propres : c'est le principal enseignement pratique. L'audit de 24 paires standard near/far OOD a révélé une fuite dans une seule paire (CIFAR-100 contre CIFAR-10, réputée particulièrement difficile) et dans aucune paire far-OOD, ce qui confirme la spécificité du diagnostic.

Avec le protocole corrigé, la méthode des perturbations (perturbation) s'est révélée inutile : un lecteur supervisé retrouve le signal OOD avec un AUROC de 0.87–1.00, mais aucun détecteur non supervisé n'y parvient, et la méthode ne fait pas mieux que la simple distance de Mahalanobis.

«

Les signaux de perturbation sont décodables, mais pas détectables », résument les auteurs du préprint publié sur arXiv.

Ce que cela signifie

Ce résultat sonne comme un avertissement pour les chercheurs en ML : un AUROC anormalement bas (inférieur à 0.5) peut indiquer non pas un mauvais détecteur, mais un benchmark contaminé. Les auteurs ne proposent pas une nouvelle méthode de détection OOD, mais un protocole corrigé et un test de fuite prêt à l'emploi ; par souci de transparence, ils retirent également une corrélation erronée publiée plus tôt.

Questions fréquentes

Qu'est-ce que la détection OOD ?

La détection OOD (out-of-distribution) consiste à reconnaître des données qui ne ressemblent pas à celles sur lesquelles le modèle a été entraîné. Elle sert à empêcher le modèle de produire des réponses assurées face à des entrées inconnues ou anormales.

Pourquoi l'AUROC est-il tombé sous 0.5 ?

L'AUROC de 0.326, inférieur au seuil du hasard de 0.5, résulte d'une fuite : la classe « étrangère » figurait dans le jeu d'entraînement, si bien que le détecteur était sanctionné pour avoir pris la bonne décision. Une fois la fuite éliminée, la métrique est remontée à 0.911.

Les benchmarks standard sont-ils concernés ?

Pour l'essentiel, non. L'audit de 24 paires standard near/far OOD n'a trouvé de fuite que dans une seule paire — CIFAR-100 contre CIFAR-10 —, et le schéma classique de construction des benchmarks inter-datasets est jugé propre.