Clustering de textos sin etiquetar: embeddings de LLM y HDBSCAN, según Machine Learning Mastery

Los embeddings de LLM han llevado las tareas con texto no estructurado mucho más allá de las interfaces de chat. Machine Learning Mastery ha publicado una guía práctica sobre cómo combinar las representaciones vectoriales de los modelos de lenguaje con el algoritmo HDBSCAN para encontrar automáticamente grupos temáticos en conjuntos de texto, sin etiquetado manual ni conocimiento previo de la estructura de los datos.

Por qué los embeddings cambian las reglas del juego

Los modelos de lenguaje pueden convertir texto en vectores de alta dimensionalidad. Son representaciones numéricas en las que los fragmentos semánticamente cercanos quedan geométricamente próximos. «El cliente está descontento con el precio» y «es demasiado caro para mí» serán vecinos en el espacio multidimensional, mientras que «problema con la entrega» caerá en una zona completamente distinta. Eso es lo que convierte a los embeddings en la entrada ideal para el clustering: el sistema tiene en cuenta el significado, no la coincidencia de palabras clave. Los diccionarios de sinónimos y las reglas ya no hacen falta.

Entre los modelos más populares para obtener embeddings figuran OpenAI `text-embedding-3-small`, Cohere Embed v3 y los sentence-transformers de código abierto, que funcionan en local sin costes de API. Un embedding típico tiene entre 768 y 3072 dimensiones, demasiadas para aplicar clustering directamente. Antes de HDBSCAN es habitual aplicar UMAP, que comprime el espacio a entre 5 y 50 dimensiones. Sin este paso, el algoritmo choca con la «maldición de la dimensionalidad»: en un espacio de alta dimensión todos los puntos parecen estar más o menos igual de lejos y no se forman clusters.

HDBSCAN frente a los métodos estándar

La mayoría de los cursos de clustering empiezan con K-means. El problema: exige fijar de antemano el número de clusters, algo imposible cuando se desconoce la estructura de los datos. HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise) resuelve la tarea de otra manera:

• No requiere fijar de antemano el número de clusters
• Marca automáticamente los puntos de «ruido»: textos que no encajan en ningún grupo
• Maneja correctamente clusters de distinto tamaño y densidad
• Escala a decenas de miles de documentos
• Genera una jerarquía de clusters con nivel de detalle ajustable

El pipeline completo: embeddings → reducción de dimensionalidad con UMAP → HDBSCAN → etiquetas de cluster. Todo el código ocupa unas pocas decenas de líneas de Python con las bibliotecas `sentence-transformers`, `umap-learn` y `hdbscan`. Para interpretar los temas encontrados basta con devolver a un LLM unos cuantos ejemplos de cada grupo y pedirle que les ponga nombre. El ciclo se cierra del modelo de lenguaje a la estadística y vuelta al modelo.

Aplicación sin conjunto de entrenamiento

La principal ventaja de esta combinación es que no necesita ningún etiquetado. No hay que acordar categorías, contratar anotadores ni construir un conjunto de entrenamiento. Un único pipeline descubre la estructura por sí solo.

«La era actual de la IA generativa se centra en las interfaces de chat, pero las capacidades de los modelos de lenguaje van mucho más allá», escriben los autores de

Machine Learning Mastery.

Los escenarios típicos incluyen agrupar miles de solicitudes de soporte, categorizar automáticamente flujos de noticias, agrupar reseñas de productos, analizar preguntas abiertas de encuestas y detectar patrones anómalos en logs. El resultado llega en minutos, sin etiquetado previo.

El enfoque resulta especialmente útil con datos que cambian rápido: los temas nuevos se descubren automáticamente y no hay que añadir clases a mano a un clasificador cada vez que cambia el ámbito temático.

Qué significa

La combinación de embeddings de LLM con HDBSCAN es una herramienta lista para estructurar grandes conjuntos de datos de texto sin supervisión. Tareas que antes exigían semanas de trabajo manual o un etiquetado costoso ahora se resuelven con un script pequeño. Para los equipos que trabajan con feedback de usuarios, monitorización de medios o analítica de contenidos, supone un ahorro directo de recursos y la posibilidad de extraer conclusiones de datos que antes simplemente quedaban sin usar.