KDnuggets : cinq méthodes de détection des valeurs aberrantes n'ont convergé que sur 32 des 816 échantillons de vin

KDnuggets a testé cinq méthodes populaires de détection d'outliers sur un ensemble de données réelles de vins et a obtenu un résultat qui casse l'intuition des manuels. Sur 816 échantillons signalés par au moins un algorithme, seulement 32 correspondaient sur toutes les méthodes principales.

Pourquoi les Méthodes Divergent

Pour l'expérience, ils ont pris le Wine Quality Dataset ouvert de l'UCI : 6497 vins portugais Vinho Verde, incluant 1599 rouges et 4898 blancs, avec 11 caractéristiques physico-chimiques et des évaluations de dégustateurs. C'est un détail important car les données se sont avérées ne pas être « comme dans les manuels » : six des onze caractéristiques présentaient une asymétrie significative de distribution, ce qui signifie que les hypothèses classiques de normalité fonctionnent mal ici.

Le premier problème est apparu même avant de comparer les algorithmes. Si vous considérez comme outlier tout échantillon ayant au moins une des 11 caractéristiques extrêmes, il y a trop de détections. Dans ce mode, IQR a signalé environ 23% des vins, et Z-Score — environ 26%. Les auteurs expliquent cela par l'effet des tests multiples : même si chaque caractéristique individuelle produit rarement un extrême aléatoire, lors de la vérification de 11 colonnes la probabilité d'attraper une « anomalie » quelque part augmente considérablement. Par conséquent, l'analyse a utilisé une règle plus stricte : un échantillon est considéré comme suspect seulement si au moins deux caractéristiques sont extrêmes simultanément.

Ce que le Test a Montré

Après cet ajustement, les chercheurs ont comparé cinq approches : Robust Z-Score, IQR, Isolation Forest, Local Outlier Factor et Elliptic Envelope. La similarité entre les résultats était faible : le coefficient de Jaccard pour les paires de méthodes variait de 0,10 à 0,30. En d'autres termes, différents outils ont examiné le même ensemble de données et ont vu des « anomalies » différentes.

Sur les 816 vins qu'au moins une méthode a considérés comme outliers, seulement 32 sont apparus dans la liste de consensus de tous les quatre méthodes principales. 143 autres vins ont été marqués par au moins trois approches. Tout le reste s'est avéré être une zone contestée : les échantillons n'étaient anormaux que du point de vue d'un ou deux algorithmes.

«

La question n'est pas quelle méthode est la meilleure, mais quel type d'anomalie vous recherchez. »

• Robust Z-Score cherche des écarts forts dans les caractéristiques individuelles.
• IQR capture bien les valeurs extrêmes sans supposer une distribution normale.
• Isolation Forest évalue un objet sur l'ensemble des caractéristiques.
• LOF observe à quel point un point se distingue de son voisinage local.
• Elliptic Envelope repose sur la normalité multivariée et s'est avéré plus faible ici.

Les auteurs soulignent également un piège dans les méthodes ML. À la fois Isolation Forest et LOF dans leur test ont utilisé contamination=0.05, ce qui signifie que le modèle a été forcé de signaler 5% des objets comme outliers. Ce n'est pas « une vérité découverte », mais un quota rigidement codé. Par conséquent, des taux de détection identiques entre les algorithmes de cette classe ne signifient pas une qualité identique.

Quelles Solutions Ont Aidé

Trois décisions d'ingénierie ont fortement influencé le résultat. Premièrement, au lieu du Z-Score standard, ils ont utilisé une version robuste basée sur la médiane et l'écart absolu médian : la version standard est trop sensible aux valeurs aberrantes elles-mêmes et dans cet ensemble de données n'a marqué que 0,8% des lignes contre 3,5% pour la variante plus robuste. Deuxièmement, les vins rouges et blancs ont été mis à l'échelle séparément car ils ont des niveaux chimiques de référence différents, et les combiner sans ajustement crée de fausses anomalies.

Troisièmement, Elliptic Envelope a été exclu du « vote de consensus » final. La méthode suppose une distribution normale multivariée, mais dans le Wine Quality Dataset cette condition n'était pas remplie : une caractéristique avait une asymétrie de 5,4, plusieurs autres — au-dessus de 1. Exclure la méthode du consensus ici n'est pas de la cosmétique mais un exemple de discipline analytique normale : si les hypothèses sont violées, l'outil ne devrait pas déterminer les conclusions finales.

Les auteurs ont également vérifié les outliers par rapport aux notes de dégustation de 3 à 9 points. Les échantillons de qualité extrême — très bons ou très mauvais — avaient environ deux fois plus de chances d'apparaître dans la liste des anomalies de consensus. Cela ne prouve pas que les algorithmes « ont compris le goût », mais fournit une vérification de santé utile : les écarts chimiques se produisent effectivement plus souvent là où le vin se distingue aussi par l'évaluation des experts.

Ce que Cela Signifie

La conclusion principale pour la science des données et la pratique ML est simple : un outlier n'est pas une entité objective, mais le résultat d'une définition choisie. Si vous avez besoin d'un flux de travail sans vérité connue étiquetée, il est plus raisonnable de ne pas faire confiance à un seul algorithme, mais de recueillir un consensus de plusieurs méthodes et de décider ensuite avec l'expertise du domaine ce qu'il faut supprimer et ce qu'il faut conserver comme signal rare mais précieux.