Pingouin: cómo construir un pipeline de EDA estadístico

La mayoría de los analistas y científicos de datos empieza a explorar los datos con visualizaciones: trazan gráficos, miran las distribuciones y calculan estadísticas básicas. Es un buen comienzo, pero a menudo no basta. Pingouin es una biblioteca de Python que convierte el análisis exploratorio de datos (EDA) en un proceso estadístico sistemático.

Por qué el EDA estadístico es crítico

La visualización responde a las preguntas «¿qué vemos?» y «¿qué aspecto tiene?». Pero un modelo fiable exige respuestas más serias:

• ¿Las variables siguen una distribución normal?
• ¿Hay correlaciones significativas entre las características?
• ¿Qué variables conviene seleccionar para el modelo?
• ¿Dónde se esconden los valores atípicos y las anomalías?
• ¿Qué supuestos estadísticos se incumplen?

Sin estas respuestas, el modelo será frágil. En la fase de EDA es más fácil rediseñar las características o filtrar los datos que reentrenar el modelo después.

Qué puede hacer Pingouin

La biblioteca incluye funciones listas para las principales pruebas estadísticas. En lugar de recordar fórmulas o escribir largos bloques de pandas y scipy, basta llamar a una sola función. Funciones clave:

• Pruebas de normalidad (Shapiro-Wilk, Kolmogorov-Smirnov, Anderson-Darling): comprueban si la distribución es normal
• Análisis de correlación: calcula los coeficientes de Pearson, Spearman y Kendall con su p-value
• Pruebas de homogeneidad de varianzas (Levene, Bartlett): comparan la dispersión de los valores entre grupos
• Detección de valores atípicos: métodos IQR, Z-score y Mahalanobis
• ANOVA y pruebas post-hoc: analizan las diferencias entre grupos
• Tamaño del efecto (Cohen's d, eta-squared): la significación práctica de los resultados

Un pipeline de EDA típico con Pingouin

El pipeline consta de etapas de verificación sucesivas:

Carga y limpieza básica. Se leen los datos, se eliminan duplicados y se tratan los valores ausentes de forma estándar.

Comprobación de distribuciones. Se llama a `pg.normality()` para cada variable numérica. Si el p-value > 0.05, la variable es normal. Si no, hace falta una transformación (log, sqrt o Box-Cox).

Análisis de correlación. Se calcula la matriz de correlación con `pg.corr()` y se identifican las relaciones significativas (p < 0.05). Las correlaciones altas (> 0.9) señalan multicolinealidad.

Detección de valores atípicos. Se aplican varios métodos (IQR, Z-score) y se comparan los resultados. Los valores atípicos pueden eliminarse, separarse para analizarlos aparte o tratarse mediante una transformación.

Comprobación de los supuestos del modelo. Si planea usar regresión lineal, compruebe la homocedasticidad (homogeneidad de las varianzas de los errores), la ausencia de multicolinealidad y la linealidad de las relaciones.

Documentación. Anote qué variables incumplen los supuestos, cuáles se excluyeron y por qué. Será útil al interpretar los resultados.

«Un buen EDA es un diálogo con los datos, no un monólogo de gráficos bonitos.»

Qué significa esto

Una herramienta como Pingouin democratiza el acceso al análisis estadístico. Ya no hace falta recordar los nombres de las pruebas ni buscar la adecuada en la documentación de scipy: la solución está lista en unas pocas líneas. Resulta especialmente útil en las primeras fases de un proyecto, cuando hay que entender rápido con qué datos se trabaja y qué pasos de preparación harán falta.