Fuga en los benchmarks OOD: cómo una clase contaminada hundió el AUROC de un detector hasta 0.326

En un preprint de arXiv (arXiv:2607.19393, julio de 2026), los investigadores demuestran que una forma habitual de construir benchmarks OOD puede distorsionar los resultados: un detector de anomalías obtuvo un AUROC de 0.326, por debajo del 0.5 del azar, únicamente porque la clase «ajena» estaba en realidad presente en el conjunto de entrenamiento del modelo.

Por qué el detector resultó peor que lanzar una moneda

El AUROC de 0.326 se debió a una fuga en el benchmark: la clase etiquetada como OOD («fuera de distribución») estaba entre las que el modelo ya había visto en el entrenamiento. Sus ejemplos acabaron dentro de la muestra in-distribution, y el detector era penalizado por reconocerlos correctamente como conocidos. Tras eliminar esa clase y reentrenar 35 modelos en dos dominios, el valor subió a 0.911: de un resultado inferior al azar a uno casi excelente. La métrica en sí no cambió; solo cambió la limpieza del benchmark.

Qué es la huella de la fuga

La huella de la fuga (leak fingerprint) es un par de indicadores con los que los autores distinguen un benchmark contaminado de uno limpio. La contaminación se delata cuando un clasificador supervisado separa los ejemplos OOD casi a la perfección (AUROC ≈ 1) mientras que un detector no supervisado fracasa con un valor inferior a 0.65. Esa discrepancia es la señal de que la clase «ajena» resulta en realidad familiar para el modelo.

Principales datos del estudio:

• El AUROC subió de 0.326 a 0.911 tras eliminar la clase filtrada y reentrenar 35 modelos en dos dominios
• Huella de la fuga: decodificabilidad supervisada con AUROC ≈ 1 junto con detección no supervisada por debajo de 0.65
• Validación en 52 configuraciones (20 con fuga, 32 limpias): ResNet-50 y ViT-B/16 sobre CIFAR-10/100
• Precisión del diagnóstico: sensibilidad de 18/20 y especificidad de 31/32 en el espacio de embeddings
• Los controles con exclusión de la muestra de entrenamiento funcionaron a la perfección: 20/20

Hasta qué punto está extendido el problema

Los benchmarks estándar entre datasets son, en su mayoría, limpios; es la principal conclusión práctica. La auditoría de 24 pares estándar near/far OOD detectó fuga en exactamente un par (el notoriamente difícil CIFAR-100 frente a CIFAR-10) y en ninguno de los pares far-OOD, lo que confirma la especificidad del diagnóstico.

Con el protocolo corregido, el método de perturbaciones (perturbation) resultó inútil: un lector supervisado recupera la señal OOD con un AUROC de 0.87–1.00, pero ningún detector no supervisado lo consigue, y el propio método no supera a la distancia de Mahalanobis convencional.

«Las señales de perturbación son decodificables, pero no detectables»,

resumen así su conclusión principal los autores del preprint en arXiv.

Qué significa

El resultado es una advertencia para los investigadores de ML: un AUROC anormalmente bajo (por debajo de 0.5) puede indicar no un mal detector, sino un benchmark contaminado. Los autores no proponen un nuevo método de detección OOD, sino un protocolo corregido y una prueba lista para usar que detecta fugas; además, por transparencia, retiran una correlación errónea publicada anteriormente.

Preguntas frecuentes

¿Qué es la detección OOD?

La detección OOD (out-of-distribution) consiste en reconocer datos distintos de aquellos con los que se entrenó el modelo. Sirve para que el modelo no dé respuestas seguras ante entradas desconocidas o anómalas.

¿Por qué el AUROC fue inferior a 0.5?

El AUROC de 0.326, por debajo del 0.5 del azar, se debió a una fuga: la clase «ajena» estaba en el conjunto de entrenamiento, así que el detector era castigado por tomar la decisión correcta. Tras eliminar la fuga, la métrica subió a 0.911.

¿Afecta esto a los benchmarks estándar?

En general, no. La auditoría de 24 pares estándar near/far OOD encontró fuga en un único par (CIFAR-100 frente a CIFAR-10), y el esquema habitual de construcción de benchmarks entre datasets se considera limpio.