Утечка в OOD-бенчмарках: как загрязнённый класс обрушил AUROC детектора до 0.326

Pesquisadores em um preprint no arXiv (arXiv:2607.19393, julho de 2026) mostraram que uma forma comum de montar benchmarks OOD pode distorcer os resultados: um detector de anomalias obteve AUROC de 0.326 — abaixo do nível de chute aleatório de 0.5 — simplesmente porque a classe "estranha" estava, na verdade, presente no conjunto de treinamento do modelo.

Por que o detector ficou pior que uma moeda

O AUROC de 0.326 surgiu de um vazamento do benchmark: a classe rotulada como OOD ("fora da distribuição") estava entre aquelas nas quais o modelo já havia sido treinado. Seus exemplos acabaram dentro do conjunto in-distribution, e o detector era penalizado por reconhecê-los corretamente como familiares. Após remover essa classe e retreinar 35 modelos em dois domínios, o índice subiu para 0.911 — de um colapso abaixo do acaso para um resultado quase excelente. A métrica em si não mudou — só a limpeza do benchmark mudou.

O que é uma impressão digital de vazamento

Uma impressão digital de vazamento (leak fingerprint) é um par de sinais pelos quais os autores distinguem um benchmark contaminado de um limpo. A contaminação se revela quando um classificador supervisionado separa os exemplos OOD quase perfeitamente (AUROC≈1), enquanto um detector não supervisionado despenca abaixo de 0.65. Essa divergência é exatamente o marcador de que a classe "estranha" é, na verdade, familiar ao modelo.

Principais fatos do estudo:

• O AUROC subiu de 0.326 para 0.911 após a remoção da classe vazada e o retreinamento de 35 modelos em dois domínios
• Impressão digital de vazamento: decodabilidade supervisionada com AUROC≈1 ao lado de detecção não supervisionada abaixo de 0.65
• Validação em 52 configurações (20 com vazamento, 32 limpas) — ResNet-50 e ViT-B/16 em CIFAR-10/100
• Precisão diagnóstica: sensibilidade de 18/20 e especificidade de 31/32 no espaço de embeddings
• Os controles com exclusão do conjunto de treinamento funcionaram perfeitamente — 20/20

Quão difundido é o problema

Os benchmarks padrão entre datasets são, em sua maioria, limpos — essa é a principal conclusão prática. Uma auditoria de 24 pares padrão near/far OOD encontrou vazamento em exatamente um par (o notoriamente difícil CIFAR-100 versus CIFAR-10) e em nenhum par far-OOD, o que confirma a especificidade do diagnóstico.

Com o protocolo corrigido, o método de perturbação se mostrou inútil: um leitor supervisionado recupera o sinal OOD com AUROC de 0.87–1.00, mas nenhum detector não supervisionado consegue o mesmo, e o método em si não supera a distância de Mahalanobis comum.

"Os sinais de perturbação são decodificáveis, mas não detectáveis", é

assim que os autores do preprint formulam a principal conclusão.

O que isso significa

O resultado é um alerta para pesquisadores de ML: um AUROC anormalmente baixo (abaixo de 0.5) pode indicar não um detector ruim, mas um benchmark contaminado. Os autores não propõem um novo método de detecção OOD, e sim um protocolo corrigido e um teste de vazamento pronto para uso — e, por transparência, retratam uma correlação equivocada anterior.

Perguntas frequentes

O que é detecção OOD?

Detecção OOD (out-of-distribution) é o reconhecimento de dados que não se parecem com aqueles em que o modelo foi treinado. Ela é necessária para que o modelo não dê respostas confiantes diante de entradas desconhecidas ou anômalas.

Por que o AUROC ficou abaixo de 0.5?

O AUROC de 0.326, abaixo do nível de acaso de 0.5, surgiu de um vazamento: a classe "estranha" estava no conjunto de treinamento, então o detector era penalizado por tomar a decisão correta. Após eliminar o vazamento, a métrica subiu para 0.911.

Isso afeta os benchmarks padrão?

Em sua maioria, não. Uma auditoria de 24 pares padrão near/far OOD encontrou vazamento em apenas um par — CIFAR-100 versus CIFAR-10 —, enquanto o esquema usual de construção de benchmarks entre datasets foi considerado limpo.