KDnuggets: cinco métodos de detecção de outliers coincidiram em apenas 32 de 816 amostras de vinho

KDnuggets testou cinco métodos populares de detecção de outliers em um conjunto de dados real de vinhos e obteve um resultado que quebra a intuição dos livros didáticos. De 816 amostras sinalizadas por pelo menos um algoritmo, apenas 32 coincidiram em todos os métodos principais.

Por que os Métodos Discordam

Para o experimento, utilizaram o Wine Quality Dataset aberto do UCI: 6497 vinhos portugueses Vinho Verde, incluindo 1599 tinto e 4898 branco, com 11 características físico-químicas e avaliações de degustadores. Este é um detalhe importante porque os dados não se mostraram "como nos livros": seis de onze características apresentavam assimetria significativa de distribuição, significando que as suposições clássicas de normalidade funcionam mal aqui.

O primeiro problema surgiu antes mesmo de comparar os algoritmos. Se você considera outlier qualquer amostra com pelo menos uma das 11 características extremas, há muitos acertos. Nesse modo, IQR sinalizou aproximadamente 23% dos vinhos, e Z-Score — cerca de 26%. Os autores explicam isso pelo efeito do teste múltiplo: mesmo que cada característica individual raramente produza um extremo aleatório, ao verificar 11 colunas a chance de pegar uma "anomalia" em algum lugar aumenta dramaticamente. Portanto, a análise usou uma regra mais rigorosa: uma amostra é considerada suspeita apenas se pelo menos duas características forem extremas simultaneamente.

O Que o Teste Mostrou

Após esse ajuste, os pesquisadores compararam cinco abordagens: Robust Z-Score, IQR, Isolation Forest, Local Outlier Factor e Elliptic Envelope. A semelhança entre os resultados foi fraca: o coeficiente de Jaccard para pares de métodos variou de 0,10 a 0,30. Em outras palavras, ferramentas diferentes observaram o mesmo conjunto de dados e viram "anomalias" diferentes. Das 816 amostras que pelo menos um método considerou outliers, apenas 32 apareceram na lista de consenso de todos os quatro métodos principais. Outras 143 amostras foram sinalizadas por pelo menos três abordagens. Tudo o mais se mostrou uma zona contestada: as amostras eram incomuns apenas do ponto de vista de um ou dois algoritmos.

"A pergunta não é qual método é melhor, mas qual tipo de anormalidade

você está procurando."

• Robust Z-Score busca desvios fortes em características individuais.
• IQR captura bem valores extremos sem assumir distribuição normal.
• Isolation Forest avalia um objeto em todo o conjunto de características.
• LOF observa quanto um ponto se destaca de sua vizinhança local.
• Elliptic Envelope depende de normalidade multivariada e se mostrou mais fraco aqui.

Os autores também apontam uma armadilha nos métodos de ML. Tanto Isolation Forest quanto LOF em seu teste usaram contamination=0.05, significando que o modelo foi forçado a sinalizar 5% dos objetos como outliers. Isto não é "verdade descoberta", mas uma cota rigidamente codificada. Portanto, taxas de acerto idênticas entre algoritmos dessa classe não significam qualidade idêntica.

Quais Soluções Ajudaram

Três decisões de engenharia influenciaram fortemente o resultado. Primeiro, em vez de Z-Score padrão usaram uma versão robusta baseada em mediana e desvio absoluto mediano: a versão padrão é muito sensível aos próprios outliers e neste conjunto de dados sinalizou apenas 0,8% das linhas versus 3,5% para a variante mais robusta. Segundo, vinhos tinto e branco foram escalados separadamente porque têm níveis químicos de referência diferentes, e combiná-los sem ajuste cria anomalias falsas.

Terceiro, Elliptic Envelope foi excluído do "voto de consenso" final. O método assume distribuição normal multivariada, mas no Wine Quality Dataset esta condição não foi atendida: uma característica tinha assimetria de 5,4, várias outras — acima de 1. Excluir o método do consenso aqui não é cosmética mas um exemplo de disciplina analítica normal: se as suposições são violadas, a ferramenta não deveria determinar conclusões finais.

Os autores também verificaram outliers contra pontuações de degustação de 3 a 9 pontos. Amostras com qualidade extrema — muito boas ou muito ruins — tinham aproximadamente o dobro de chance de aparecer na lista de anomalias de consenso. Isto não prova que os algoritmos "entenderam o gosto", mas fornece uma verificação de sanidade útil: desvios químicos realmente ocorrem mais frequentemente onde o vinho se destaca pela avaliação de especialistas também.

O Que Isso Significa

A principal conclusão para ciência de dados e prática de ML é simples: um outlier não é uma entidade objetiva, mas um resultado de definição escolhida. Se você precisa de um fluxo de trabalho sem verdade conhecida rotulada, é mais razoável não confiar em um algoritmo, mas reunir consenso de vários métodos e então decidir junto com expertise de domínio o que remover e o que manter como sinal raro mas valioso.