Clusterização de textos sem rotulagem: embeddings de LLM e HDBSCAN da Machine Learning Mastery

Os embeddings de LLM levaram as tarefas com texto não estruturado muito além das interfaces de chat. Machine Learning Mastery publica um guia prático: como combinar representações vetoriais de modelos de linguagem com o algoritmo HDBSCAN — e encontrar automaticamente grupos temáticos em datasets de texto sem anotação manual ou conhecimento prévio da estrutura dos dados.

Por que os embeddings mudam as regras do jogo

Modelos de linguagem conseguem transformar texto em vetores de alta dimensionalidade. Essas são representações numéricas em que fragmentos semanticamente similares acabam geometricamente próximos. "Cliente insatisfeito com o preço" e "muito caro para mim" serão vizinhos no espaço multidimensional, enquanto "problema com entrega" fica em uma parte completamente diferente dele. Isso é o que torna os embeddings entrada ideal para clustering: o sistema leva em conta o significado, não a correspondência de palavras-chave. Dicionários de sinônimos e regras não são mais necessários.

Modelos populares para obter embeddings incluem OpenAI `text-embedding-3-small`, Cohere Embed v3, e também sentence-transformers open-source, que funcionam localmente sem custos de API. Um embedding típico tem dimensionalidade 768–3072 — muito para clustering direto. Antes do HDBSCAN, é comum aplicar UMAP, que comprime o espaço para 5–50 dimensões. Sem essa etapa, o algoritmo enfrenta a "maldição da dimensionalidade": no espaço de alta dimensão, todos os pontos parecem aproximadamente igualmente distantes um do outro, e clusters não se formam.

HDBSCAN versus métodos padrão

A maioria dos cursos de clustering começa com K-means. O problema: o algoritmo exige especificar o número de clusters com antecedência — o que é impossível se a estrutura dos dados é desconhecida. HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise) resolve o problema de forma diferente:

• Não exige especificar o número de clusters com antecedência
• Marca automaticamente pontos de "ruído" — textos que não se encaixam em nenhum grupo
• Lida corretamente com clusters de tamanhos e densidades diferentes
• Escala para dezenas de milhares de documentos
• Fornece uma hierarquia de clusters com granularidade ajustável

Pipeline completo: embeddings → redução de dimensionalidade via UMAP → HDBSCAN → rótulos de cluster. Todo o código ocupa apenas algumas dezenas de linhas de Python com as bibliotecas `sentence-transformers`, `umap-learn` e `hdbscan`. Para interpretar os tópicos encontrados, é suficiente passar alguns exemplos de cada grupo de volta para o LLM e pedir para criar um nome — o ciclo se fecha do modelo de linguagem para a estatística e volta.

Aplicação sem dados de treinamento

A principal vantagem dessa combinação é a zero necessidade de anotação. Não é preciso concordar com categorias, contratar anotadores ou formar um conjunto de treinamento. Um pipeline descobre a estrutura por si só.

"A era atual da IA generativa está focada em interfaces de chat, mas os recursos dos modelos de linguagem vão muito além disso", escrevem os autores de

Machine Learning Mastery.

Cenários típicos: clustering de milhares de tickets de suporte, categorização automática de fluxos de notícias, agrupamento de avaliações de produtos, análise de perguntas abertas de pesquisas, detecção de padrões anômalos em logs. Os resultados aparecem em minutos, sem anotação prévia. A abordagem é especialmente valiosa ao trabalhar com dados em rápida mudança: novos tópicos são descobertos automaticamente — não é preciso adicionar manualmente classes ao classificador toda vez que a área de assunto muda.

O que isso significa

A combinação de embeddings de LLM com HDBSCAN é uma ferramenta pronta para estruturar grandes datasets de texto sem supervisão. Tarefas que anteriormente exigiam semanas de trabalho manual ou anotação cara agora são resolvidas com um pequeno script. Para equipes que trabalham com feedback de usuários, monitoramento de mídia ou análise de conteúdo, isso é uma economia direta de recursos — e uma oportunidade de extrair insights de dados que anteriormente simplesmente ficavam inutilizados.