Pingouin: como montar um pipeline estatístico de EDA

A maioria dos analistas e cientistas de dados começa a explorar os dados pela visualização: faz gráficos, observa as distribuições e calcula estatísticas básicas. É um bom começo, mas muitas vezes não basta. O Pingouin é uma biblioteca Python que transforma a análise exploratória de dados (EDA) em um processo estatístico sistemático.

Por que o EDA estatístico é crítico

A visualização responde a perguntas como "o que estamos vendo?" e "qual é a aparência disso?". Mas um modelo confiável exige respostas mais sérias:

• As variáveis têm distribuição normal?
• Existem correlações significativas entre as features?
• Quais variáveis vale a pena selecionar para o modelo?
• Onde estão escondidos os outliers e as anomalias?
• Quais premissas estatísticas são violadas?

Sem essas respostas, o modelo será frágil. Na etapa de EDA, é mais fácil reconstruir as features ou filtrar os dados do que retreinar o modelo depois.

O que o Pingouin pode fazer

A biblioteca traz funções prontas para os principais testes estatísticos. Em vez de lembrar fórmulas ou escrever longos blocos em pandas e scipy, basta chamar uma única função. Principais recursos:

• Testes de normalidade (Shapiro-Wilk, Kolmogorov-Smirnov, Anderson-Darling): verificam se a distribuição é normal
• Análise de correlação: calcula os coeficientes de Pearson, Spearman e Kendall com p-value
• Testes de homogeneidade de variâncias (Levene, Bartlett): comparam a dispersão dos valores entre grupos
• Detecção de outliers: métodos IQR, Z-score e Mahalanobis
• ANOVA e testes post-hoc: analisam as diferenças entre grupos
• Tamanho de efeito (Cohen's d, eta-squared): a significância prática dos resultados

Um pipeline de EDA típico com o Pingouin

O pipeline é composto por etapas sequenciais de verificação:

Carga e limpeza básica. Leia os dados, remova duplicatas e trate os valores ausentes de forma padrão.

Verificação das distribuições. Chame `pg.normality()` para cada variável numérica. Se o p-value > 0.05, a variável é normal. Se não, é preciso aplicar uma transformação (log, sqrt ou Box-Cox).

Análise de correlação. Calcule a matriz de correlação com `pg.corr()` e identifique as relações significativas (p < 0.05). Correlações altas (> 0.9) indicam multicolinearidade.

Detecção de outliers. Aplique vários métodos (IQR, Z-score) e compare os resultados. Os outliers podem ser removidos, separados para análise à parte ou tratados com uma transformação.

Verificação das premissas do modelo. Se você pretende usar regressão linear, verifique a homocedasticidade (homogeneidade das variâncias dos erros), a ausência de multicolinearidade e a linearidade das relações.

Documentação. Registre quais variáveis violam as premissas, quais foram excluídas e por quê. Isso será útil na interpretação dos resultados.

"Um bom EDA é um diálogo com os dados, não um monólogo de gráficos bonitos."

O que isso significa

Uma ferramenta como o Pingouin democratiza o acesso à análise estatística. Não é mais preciso lembrar os nomes dos testes nem procurar o certo na documentação do scipy: a solução vem pronta, em poucas linhas. Ela é especialmente útil nas fases iniciais de um projeto, quando é preciso entender rapidamente com que dados você está lidando e quais etapas de preparação serão necessárias.