KDnuggets: cinco métodos de detección de valores atípicos coincidieron solo en 32 de 816 vinos

KDnuggets probó cinco métodos populares de detección de valores atípicos en un conjunto de datos real de vinos y obtuvo un resultado que rompe la intuición de los libros de texto. De las 816 muestras marcadas por al menos un algoritmo, solo 32 coincidieron en todos los métodos principales.

Por qué los métodos discrepan

Para el experimento se usó el Wine Quality Dataset abierto de UCI: 6497 vinos portugueses Vinho Verde, de ellos 1599 tintos y 4898 blancos, con 11 características fisicoquímicas y las puntuaciones de los catadores. Es un detalle importante, porque los datos no resultaron «de manual»: seis de las once características mostraban una asimetría notable en su distribución, de modo que los supuestos clásicos de normalidad funcionan mal aquí.

El primer problema apareció incluso antes de comparar los algoritmos. Si se considera valor atípico cualquier muestra con al menos una de sus 11 características en un extremo, se obtienen demasiados avisos. Con ese criterio, IQR marcó alrededor del 23% de los vinos y Z-Score, cerca del 26%. Los autores lo explican por el efecto de las pruebas múltiples: aunque cada característica por separado rara vez produzca un extremo casual, al revisar 11 columnas aumenta bruscamente la probabilidad de detectar una «anomalía» en alguna parte. Por eso el análisis adoptó una regla más estricta: una muestra se considera sospechosa solo si al menos dos características son extremas a la vez.

Qué mostró la prueba

Tras este ajuste, los investigadores compararon cinco enfoques: Robust Z-Score, IQR, Isolation Forest, Local Outlier Factor y Elliptic Envelope. La similitud entre los resultados fue baja: el coeficiente de Jaccard para pares de métodos osciló entre 0,10 y 0,30. Es decir, herramientas distintas miraron el mismo conjunto de datos y vieron «rarezas» diferentes.

De los 816 vinos que al menos un método consideró atípicos, solo 32 muestras entraron en la lista común de los cuatro métodos principales. Otros 143 vinos fueron marcados por al menos tres enfoques. Todo lo demás quedó en una zona disputada: muestras que eran inusuales solo desde el punto de vista de uno o dos algoritmos.

«La cuestión no es qué método es el mejor, sino qué tipo de rareza buscas».

• Robust Z-Score busca desviaciones fuertes en características individuales.
• IQR detecta bien los valores extremos sin suponer una distribución normal.
• Isolation Forest evalúa cada objeto considerando todo el conjunto de características a la vez.
• LOF mide cuánto se aparta un punto de su entorno local.
• Elliptic Envelope se apoya en la normalidad multivariante y por eso resultó más débil aquí.

Los autores también advierten de una trampa en los métodos de ML. Tanto Isolation Forest como LOF usaron en su prueba contamination=0.05, es decir, se obligó de antemano al modelo a marcar el 5% de los objetos como atípicos. No es una «verdad descubierta», sino una cuota fijada de forma rígida. Por eso, una proporción idéntica de detecciones en algoritmos de esta clase no implica la misma calidad.

Qué decisiones ayudaron

Tres decisiones de ingeniería influyeron mucho en el resultado. Primero, en lugar del Z-Score habitual se usó una versión robusta basada en la mediana y la desviación absoluta mediana: la versión estándar es demasiado sensible a los propios valores atípicos y en este conjunto de datos marcó solo el 0,8% de las filas, frente al 3,5% de la variante más resistente. Segundo, los vinos tintos y blancos se escalaron por separado, porque sus niveles base de indicadores químicos difieren, y juntarlos sin corrección crea falsas anomalías.

Tercero, Elliptic Envelope no se incluyó en la «votación de confianza» final. El método supone una distribución normal multivariante, y en el Wine Quality Dataset esa condición no se cumplía: una de las características tenía una asimetría de 5,4 y varias más superaban 1. Excluir el método del consenso no es aquí algo cosmético, sino un ejemplo de buena disciplina analítica: si se incumplen las premisas, la herramienta no debe determinar la conclusión final.

Los autores también contrastaron los valores atípicos con las puntuaciones de cata, de 3 a 9 puntos. Las muestras con calidad extrema, muy buena o muy mala, aparecieron en la lista de anomalías de consenso aproximadamente el doble de veces. Esto no demuestra que los algoritmos «hayan entendido el sabor», pero ofrece una comprobación de cordura útil: las desviaciones químicas se dan con más frecuencia donde el vino también destaca en la valoración de los expertos.

Qué significa

La conclusión principal para la práctica de data science y ML es sencilla: un valor atípico no es una entidad objetiva, sino el resultado de una definición elegida. Si se necesita un flujo de trabajo sin verdad de referencia etiquetada, es más sensato no confiar en un solo algoritmo, sino construir un consenso con varios métodos y decidir después, junto con la experiencia del dominio, qué eliminar y qué conservar como una señal rara pero valiosa.