KDnuggets: cinco métodos de detección de outliers coincidieron en solo 32 de 816 muestras de vino

KDnuggets probó cinco métodos populares de detección de outliers en un conjunto de datos real de vinos y obtuvo un resultado que rompe la intuición de los libros de texto. De 816 muestras marcadas por al menos un algoritmo, solo 32 coincidieron en todos los métodos principales.

Por qué los Métodos Discrepan

Para el experimento, utilizaron el Wine Quality Dataset abierto del UCI: 6497 vinos portugueses Vinho Verde, incluyendo 1599 tintos y 4898 blancos, con 11 características físico-químicas y evaluaciones de catadores. Este es un detalle importante porque los datos resultaron no ser "como en los libros": seis de once características mostraban asimetría significativa de distribución, lo que significa que los supuestos clásicos de normalidad funcionan mal aquí.

El primer problema apareció incluso antes de comparar los algoritmos. Si considera outlier cualquier muestra con al menos una de las 11 características extremas, hay demasiados aciertos. En este modo, IQR marcó aproximadamente el 23% de los vinos, y Z-Score — alrededor del 26%. Los autores explican esto por el efecto de las pruebas múltiples: aunque cada característica individual rara vez produce un extremo aleatorio, al verificar 11 columnas la probabilidad de captar una "anomalía" en algún lugar aumenta drásticamente. Por lo tanto, el análisis utilizó una regla más estricta: una muestra se considera sospechosa solo si al menos dos características son extremas simultáneamente.

Lo que Mostró la Prueba

Después de este ajuste, los investigadores compararon cinco enfoques: Robust Z-Score, IQR, Isolation Forest, Local Outlier Factor y Elliptic Envelope. La similitud entre resultados fue débil: el coeficiente de Jaccard para pares de métodos osciló entre 0,10 y 0,30. En otras palabras, diferentes herramientas examinaron el mismo conjunto de datos y vieron diferentes "rarezas". De los 816 vinos que al menos un método consideró outliers, solo 32 aparecieron en la lista de consenso de los cuatro métodos principales. Otros 143 vinos fueron marcados por al menos tres enfoques. Todo lo demás resultó ser una zona disputada: las muestras eran inusuales solo desde la perspectiva de uno o dos algoritmos.

"La pregunta no es cuál método es mejor, sino qué tipo de inusualidad

está buscando."

• Robust Z-Score busca desviaciones fuertes en características individuales.
• IQR captura bien valores extremos sin asumir distribución normal.
• Isolation Forest evalúa un objeto en todo el conjunto de características.
• LOF observa cuánto se destaca un punto de su vecindario local.
• Elliptic Envelope se basa en normalidad multivariante y resultó más débil aquí.

Los autores también señalan una trampa en los métodos de ML. Tanto Isolation Forest como LOF en su prueba utilizaron contamination=0.05, lo que significa que el modelo fue forzado a marcar el 5% de los objetos como outliers. Esto no es "verdad descubierta", sino una cuota codificada rígidamente. Por lo tanto, tasas de acierto idénticas entre algoritmos de esta clase no significa calidad idéntica.

Qué Soluciones Ayudaron

Tres decisiones de ingeniería influyeron fuertemente en el resultado. Primero, en lugar de Z-Score estándar utilizaron una versión robusta basada en mediana y desviación absoluta de la mediana: la versión estándar es demasiado sensible a los propios outliers y en este conjunto de datos marcó solo el 0,8% de las filas frente al 3,5% para la variante más robusta. Segundo, los vinos tinto y blanco se escalaron por separado porque tienen diferentes niveles químicos de referencia, y combinarlos sin ajuste crea anomalías falsas.

Tercero, Elliptic Envelope se excluyó de la "votación de consenso" final. El método asume distribución normal multivariante, pero en el Wine Quality Dataset esta condición no se cumplió: una característica tenía asimetría de 5,4, varias otras — por encima de 1. Excluir el método del consenso aquí no es cosmética sino un ejemplo de disciplina analítica normal: si se violan los supuestos, la herramienta no debería determinar conclusiones finales.

Los autores también verificaron outliers contra puntuaciones de degustación de 3 a 9 puntos. Las muestras con calidad extrema — muy buena o muy mala — tenían aproximadamente el doble de probabilidad de aparecer en la lista de anomalías de consenso. Esto no prueba que los algoritmos "entendieran el gusto", pero proporciona una útil verificación de cordura: las desviaciones químicas realmente ocurren más frecuentemente donde el vino se destaca por evaluación de expertos también.

Lo Que Esto Significa

La conclusión principal para ciencia de datos y práctica de ML es simple: un outlier no es una entidad objetiva, sino el resultado de una definición elegida. Si necesita un flujo de trabajo sin verdad conocida etiquetada, es más razonable no confiar en un algoritmo, sino reunir consenso de varios métodos y luego decidir junto con expertise de dominio qué eliminar y qué conservar como señal rara pero valiosa.