Pingouin : comment construire un pipeline d'EDA statistique

La plupart des analystes et des data scientists commencent l'exploration des données par la visualisation : ils tracent des graphiques, examinent les distributions et calculent des statistiques de base. C'est un bon début, mais souvent insuffisant. Pingouin est une bibliothèque Python qui transforme l'analyse exploratoire des données (EDA) en un processus statistique systématique.

Pourquoi l'EDA statistique est cruciale

La visualisation répond aux questions « que voit-on ? » et « à quoi cela ressemble-t-il ? ». Mais un modèle fiable exige des réponses plus solides :

• Les variables suivent-elles une distribution normale ?
• Existe-t-il des corrélations significatives entre les variables explicatives ?
• Quelles variables vaut-il la peine de retenir pour le modèle ?
• Où se cachent les valeurs aberrantes et les anomalies ?
• Quelles hypothèses statistiques sont violées ?

Sans ces réponses, le modèle sera fragile. À l'étape de l'EDA, il est plus facile de reconstruire les variables ou de filtrer les données que de réentraîner le modèle par la suite.

Ce que sait faire Pingouin

La bibliothèque propose des fonctions prêtes à l'emploi pour les principaux tests statistiques. Au lieu de rappeler des formules ou d'écrire de longs blocs en pandas et scipy, il suffit d'appeler une seule fonction. Principales fonctionnalités :

• Tests de normalité (Shapiro-Wilk, Kolmogorov-Smirnov, Anderson-Darling) : vérifient si la distribution est normale
• Analyse de corrélation : calcule les coefficients de Pearson, Spearman et Kendall avec leur p-value
• Tests d'homogénéité des variances (Levene, Bartlett) : comparent la dispersion des valeurs entre les groupes
• Détection des valeurs aberrantes : méthodes IQR, Z-score et Mahalanobis
• ANOVA et tests post-hoc : analysent les différences entre les groupes
• Taille d'effet (Cohen's d, eta-squared) : la portée pratique des résultats

Un pipeline d'EDA type avec Pingouin

Le pipeline se compose d'étapes de vérification successives :

Chargement et nettoyage de base. Lisez les données, supprimez les doublons et traitez les valeurs manquantes de façon standard.

Vérification des distributions. Appelez `pg.normality()` pour chaque variable numérique. Si la p-value > 0.05, la variable est normale. Sinon, une transformation s'impose (log, sqrt ou Box-Cox).

Analyse de corrélation. Calculez la matrice de corrélation avec `pg.corr()` et repérez les liens significatifs (p < 0.05). Des corrélations élevées (> 0.9) signalent une multicolinéarité.

Détection des valeurs aberrantes. Appliquez plusieurs méthodes (IQR, Z-score) et comparez les résultats. Les valeurs aberrantes peuvent être supprimées, mises de côté pour une analyse séparée ou traitées par une transformation.

Vérification des hypothèses du modèle. Si vous prévoyez une régression linéaire, vérifiez l'homoscédasticité (homogénéité des variances des erreurs), l'absence de multicolinéarité et la linéarité des relations.

Documentation. Consignez les variables qui violent les hypothèses, celles que vous avez exclues et pourquoi. Cela servira lors de l'interprétation des résultats.

«

Une bonne EDA est un dialogue avec les données, pas un monologue de jolis graphiques. »

Ce que cela signifie

Un outil comme Pingouin démocratise l'accès à l'analyse statistique. Il n'est plus nécessaire de retenir les noms des tests ni de chercher le bon dans la documentation de scipy : la solution est prête en quelques lignes. Il est particulièrement utile aux premiers stades d'un projet, quand il faut comprendre rapidement à quelles données on a affaire et quelles étapes de préparation seront nécessaires.