Clustering de textes sans étiquetage : embeddings de LLM et HDBSCAN de Machine Learning Mastery

Les embeddings de LLM ont porté les tâches avec du texte non structuré bien au-delà des interfaces de chat. Machine Learning Mastery publie un guide pratique : comment combiner les représentations vectorielles des modèles de langage avec l'algorithme HDBSCAN — et trouver automatiquement des groupes thématiques dans les ensembles de données textuelles sans annotation manuelle ni connaissance préalable de la structure des données.

Pourquoi les embeddings changent les règles du jeu

Les modèles de langage peuvent transformer le texte en vecteurs de haute dimensionnalité. Ce sont des représentations numériques dans lesquelles les fragments sémantiquement similaires se retrouvent géométriquement proches. « Client mécontent du prix » et « trop cher pour moi » seront voisins dans l'espace multidimensionnel, tandis que « problème de livraison » se retrouvera dans une partie complètement différente. C'est ce qui rend les embeddings parfaits pour le clustering : le système tient compte du sens, pas de la correspondance des mots-clés. Les dictionnaires de synonymes et les règles ne sont plus nécessaires.

Les modèles populaires pour obtenir des embeddings incluent OpenAI `text-embedding-3-small`, Cohere Embed v3, et aussi sentence-transformers open-source, qui fonctionnent localement sans frais d'API. Un embedding typique a une dimensionnalité de 768–3072 — trop pour un clustering direct. Avant HDBSCAN, il est courant d'appliquer UMAP, qui compresse l'espace à 5–50 dimensions. Sans cette étape, l'algorithme fait face à la « malédiction de la dimensionnalité » : dans un espace de haute dimension, tous les points semblent approximativement équidistants les uns des autres, et les clusters ne se forment pas.

HDBSCAN versus les méthodes standard

La plupart des cours de clustering commencent par K-means. Le problème : l'algorithme nécessite de spécifier le nombre de clusters à l'avance — ce qui est impossible si la structure des données est inconnue. HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise) résout le problème différemment :

• Ne nécessite pas de spécifier le nombre de clusters à l'avance
• Marque automatiquement les points de « bruit » — les textes qui ne correspondent à aucun groupe
• Gère correctement les clusters de différentes tailles et densités
• Bonne évolutivité pour des dizaines de milliers de documents
• Fournit une hiérarchie de clusters avec une granularité ajustable

Pipeline complet : embeddings → réduction de dimensionnalité via UMAP → HDBSCAN → étiquettes de cluster. Le code entier ne prend que quelques dizaines de lignes de Python avec les bibliothèques `sentence-transformers`, `umap-learn` et `hdbscan`. Pour interpréter les sujets trouvés, il suffit de passer quelques exemples de chaque groupe au LLM et de lui demander de proposer un nom — la boucle se ferme du modèle de langage à la statistique et vice-versa.

Application sans données d'entraînement

L'avantage principal de cette combinaison est l'absence totale de besoin d'annotation. Il n'est pas nécessaire de s'accorder sur les catégories, d'embaucher des annotateurs ou de former un ensemble d'entraînement. Un seul pipeline découvre la structure par lui-même.

« L'ère actuelle de l'IA générative est centrée sur les interfaces de chat, mais les capacités des modèles de langage vont bien au-delà », écrivent les auteurs de

Machine Learning Mastery.

Scénarios typiques : clustering de milliers de tickets de support, catégorisation automatique de flux d'actualités, regroupement des critiques de produits, analyse des questions ouvertes d'enquêtes, détection de motifs anormaux dans les logs. Les résultats apparaissent en minutes, sans annotation préalable. L'approche est particulièrement précieuse lorsqu'on travaille avec des données qui changent rapidement : les nouveaux sujets sont découverts automatiquement — il n'y a pas besoin d'ajouter manuellement des classes au classificateur chaque fois que le domaine change.

Ce que cela signifie

La combinaison des embeddings de LLM avec HDBSCAN est un outil prêt à l'emploi pour structurer les grands ensembles de données textuelles sans supervision. Les tâches qui nécessitaient auparavant des semaines de travail manuel ou une annotation coûteuse sont maintenant résolues avec un petit script. Pour les équipes travaillant avec les commentaires des utilisateurs, la surveillance des médias ou l'analyse de contenu, c'est une économie directe de ressources — et une opportunité d'extraire des informations à partir de données qui restaient auparavant simplement inutilisées.