Pingouin: cómo construir un pipeline estadístico de EDA

La mayoría de analistas y científicos de datos comienzan la exploración de datos con visualización: construyen gráficos, observan distribuciones, calculan estadísticas básicas. Es un buen comienzo, pero a menudo no es suficiente. Pingouin es una biblioteca de Python que convierte el análisis exploratorio de datos (EDA) en un proceso estadístico sistemático.

Por qué el EDA Estadístico es Crítico

La visualización responde a las preguntas 'qué vemos?' y 'cómo se ve?'. Pero para un modelo confiable, necesitas respuestas más serias:

• ¿Se distribuyen normalmente las variables?
• ¿Existen correlaciones significativas entre características?
• ¿Qué variables tienen sentido seleccionar para el modelo?
• ¿Dónde se encuentran los valores atípicos y anomalías?
• ¿Qué supuestos estadísticos se violan?

Sin estas respuestas, tu modelo será frágil. En la etapa de EDA, es más fácil reconstruir características o filtrar datos que reentrenar el modelo después.

Qué Puede Hacer Pingouin

La biblioteca contiene funciones listas para pruebas estadísticas básicas. En lugar de memorizar fórmulas o escribir largos bloques de código pandas y scipy, llamas a una única función. Capacidades clave:

• Pruebas de normalidad (Shapiro-Wilk, Kolmogorov-Smirnov, Anderson-Darling) — verifican si las distribuciones son normales
• Análisis de correlación — calculan coeficientes de Pearson, Spearman, Kendall con p-value
• Pruebas de homogeneidad de varianza (Levene, Bartlett) — comparan la dispersión de valores en grupos
• Detección de valores atípicos — métodos IQR, Z-score, Mahalanobis
• ANOVA y pruebas post-hoc — análisis de diferencias entre grupos
• Tamaño del efecto (Cohen's d, eta-squared) — significancia práctica de los resultados

Pipeline Típico de EDA con Pingouin

El pipeline consta de pasos de verificación secuenciales:

Carga y limpieza básica. Lee los datos, elimina duplicados, procesa valores faltantes de manera estándar.

Verificación de distribuciones. Para cada variable numérica, llamó `pg.normality()`. Si p-value > 0.05, la variable es normal. Si no — necesitas una transformación (log, sqrt o Box-Cox).

Análisis de correlación. Calculó la matriz de correlación con `pg.corr()`, identificó relaciones significativas (p < 0.05). Las correlaciones altas (> 0.9) indican multicolinealidad.

Detección de valores atípicos. Aplicó varios métodos (IQR, Z-score) y comparó resultados. Los valores atípicos pueden eliminarse, seleccionarse por separado o procesarse con transformaciones.

Comprobación de supuestos del modelo. Si planea regresión lineal — verifique homocedasticidad (varianza uniforme del error), ausencia de multicolinealidad, linealidad de las relaciones.

Documentación. Registre qué variables violan supuestos, cuáles excluyó y por qué. Esto será útil al interpretar resultados.

"Una buena EDA es un diálogo con datos, no un monólogo de gráficos hermosos."

Qué Significa

Herramientas como Pingouin democralizan el acceso al análisis estadístico. Ya no necesitas memorizar nombres de pruebas o buscar la correcta en la documentación scipy — existe una solución lista en solo algunas líneas. Es especialmente útil en las primeras etapas del proyecto, cuando necesitas entender rápidamente con qué datos estás tratando y qué pasos preparatorios serán necesarios.