Vazamento em benchmarks OOD: como uma classe contaminada derrubou o AUROC de um detector para 0.326

Pesquisadores mostraram, em um preprint no arXiv (arXiv:2607.19393, julho de 2026), que uma forma comum de montar benchmarks OOD pode distorcer os resultados: um detector de anomalias obteve AUROC de 0.326, abaixo do nível de chute aleatório de 0.5, apenas porque a classe "estranha" estava, na verdade, presente no conjunto de treinamento do modelo.

Por que o detector ficou pior do que cara ou coroa

O AUROC de 0.326 surgiu de um vazamento no benchmark: a classe marcada como OOD ("fora da distribuição") estava entre aquelas em que o modelo já havia sido treinado. Seus exemplos entraram na amostra in-distribution, e o detector era penalizado por reconhecê-los corretamente como familiares. Depois de remover essa classe e retreinar 35 modelos em dois domínios, a métrica subiu para 0.911 — de um resultado abaixo do acaso para um desempenho quase excelente. A métrica em si não mudou; o que mudou foi apenas a limpeza do benchmark.

O que é a impressão digital do vazamento

A impressão digital do vazamento (leak fingerprint) é um par de sinais pelo qual os autores distinguem um benchmark contaminado de um limpo. A contaminação se revela quando um classificador supervisionado separa os exemplos OOD quase perfeitamente (AUROC ≈ 1), enquanto um detector não supervisionado fracassa, ficando abaixo de 0.65. Essa discrepância é o indício de que a classe "estranha" é, na prática, conhecida pelo modelo.

Principais fatos do estudo:

• O AUROC subiu de 0.326 para 0.911 depois da remoção da classe vazada e do retreinamento de 35 modelos em dois domínios
• Impressão digital do vazamento: decodificabilidade supervisionada com AUROC ≈ 1 combinada com detecção não supervisionada abaixo de 0.65
• Validação em 52 configurações (20 com vazamento, 32 limpas) — ResNet-50 e ViT-B/16 em CIFAR-10/100
• Precisão do diagnóstico: sensibilidade de 18/20 e especificidade de 31/32 no espaço de embeddings
• Os controles com exclusão do conjunto de treinamento funcionaram com perfeição — 20/20

Quão disseminado é o problema

Os benchmarks cross-dataset padrão estão, em sua maioria, limpos — essa é a principal conclusão prática. A auditoria de 24 pares padrão de near/far OOD encontrou vazamento em exatamente um par (o notoriamente difícil CIFAR-100 contra CIFAR-10) e em nenhum par far-OOD, o que confirma a especificidade do diagnóstico.

Com o protocolo corrigido, o método de perturbações (perturbation) se mostrou inútil: um leitor supervisionado recupera o sinal OOD com AUROC de 0.87–1.00, mas nenhum detector não supervisionado consegue fazer o mesmo, e o próprio método não supera a distância de Mahalanobis convencional.

"Os sinais de perturbação são decodificáveis, mas não detectáveis" — é

assim que os autores do preprint no arXiv resumem a principal conclusão.

O que isso significa

O resultado é um alerta para pesquisadores de ML: um AUROC anormalmente baixo (abaixo de 0.5) pode indicar não um detector ruim, mas um benchmark contaminado. Os autores não propõem um novo método de detecção OOD, e sim um protocolo corrigido e um teste pronto para vazamento — e, por transparência, retratam uma correlação equivocada apresentada anteriormente.

Perguntas frequentes

O que é detecção OOD?

A detecção OOD (out-of-distribution) consiste em reconhecer dados diferentes daqueles em que o modelo foi treinado. Ela é necessária para que o modelo não dê respostas confiantes diante de entradas desconhecidas ou anômalas.

Por que o AUROC ficou abaixo de 0.5?

O AUROC de 0.326, abaixo do nível de acaso de 0.5, resultou de um vazamento: a classe "estranha" estava no conjunto de treinamento, então o detector era punido por tomar a decisão correta. Depois que o vazamento foi eliminado, a métrica subiu para 0.911.

Isso afeta os benchmarks padrão?

Em geral, não. A auditoria de 24 pares padrão de near/far OOD encontrou vazamento em apenas um par — CIFAR-100 contra CIFAR-10 —, e o esquema usual de construção de benchmarks cross-dataset foi considerado limpo.