emb-diversity : un outil de mesure de la diversité des données fondé sur les embeddings

En juillet 2026, des chercheurs du projet nlpsoc ont publié sur arXiv un preprint et un outil open source, emb-diversity. Il s'agit d'un ensemble de métriques qui mesure la diversité des données textuelles à partir des embeddings, et pas seulement du vocabulaire, et qui fonctionne avec n'importe quel modèle d'embedding.

Ce que mesure emb-diversity

emb-diversity évalue quatre types de diversité d'un jeu de données : stylistique, sémantique, linguistique et celle des locuteurs. Contrairement aux métriques lexicales, qui comptent les mots uniques et les n-grammes, l'outil travaille sur des vecteurs numériques (les embeddings). Il s'applique donc à toutes les données vectorisables, et pas seulement au texte.

La flexibilité est l'idée centrale. Selon les auteurs, les mesures fondées sur les embeddings fonctionnent avec n'importe quel modèle d'embedding et avec toutes les données qu'on peut vectoriser, ce qui les rend adaptées à de multiples interprétations de la notion de « diversité ».

• L'outil s'appelle emb-diversity ; son code est ouvert sur GitHub (dépôt nlpsoc/emb-diversity)
• Il fonctionne avec n'importe quel modèle d'embedding et toutes les données vectorisables
• Il mesure 4 types de diversité : stylistique, sémantique, linguistique et celle des locuteurs
• Il a été publié en preprint sur arXiv, section cs.CL, version v1, en juillet 2026
• Il réunit dans un seul paquet un large éventail de mesures de diversité

Pourquoi c'est important pour le NLP

emb-diversity comble une lacune précise : la fragmentation des méthodes existantes. Comme le notent les auteurs, les outils de mesure de la diversité lexicale des textes sont déjà nombreux, mais les chercheurs ne disposaient jusqu'ici d'aucune méthode standardisée pour calculer la diversité à partir des embeddings.

La diversité des données d'entraînement influe directement sur la qualité des modèles. Les auteurs du preprint s'appuient sur un corpus croissant de preuves : plus les données sont diversifiées, plus les modèles de NLP sont équitables et robustes. Un jeu de données unilatéral ou biaisé produit des systèmes partiaux et fragiles, et sans outil de mesure commun, ce problème est difficile ne serait-ce qu'à constater.

«

De plus en plus d'éléments montrent que la diversité des données est essentielle pour construire des modèles de NLP équitables et robustes », peut-on lire dans le résumé du preprint emb-diversity sur arXiv.

Comment utiliser l'outil

emb-diversity est disponible en open source dans le dépôt nlpsoc/emb-diversity sur GitHub. On peut l'intégrer à son propre pipeline de préparation des données. Les auteurs présentent plusieurs scénarios : analyse de la diversité stylistique, sémantique et linguistique, ainsi que de celle des locuteurs, sur des jeux de données précis.

Les métriques reposent sur les embeddings : le développeur choisit donc lui-même le modèle d'embedding adapté à sa tâche, des encodeurs multilingues aux modèles spécialisés par domaine. On mesure ainsi non pas une notion figée de « diversité », mais celle qui compte dans un projet donné.

Ce que cela change

emb-diversity offre aux équipes un moyen unique de quantifier la diversité de leur jeu de données avant même l'entraînement du modèle. Pour ceux qui luttent contre les biais et la fragilité des systèmes, c'est une étape de diagnostic peu coûteuse avant un entraînement onéreux.

Questions fréquentes

Qu'est-ce que la diversité des données fondée sur les embeddings ?

C'est une mesure de la diversité d'un jeu de données à partir de vecteurs numériques (les embeddings), et non du décompte des mots uniques. L'approche fonctionne avec n'importe quel modèle d'embedding et toutes les données vectorisables ; elle couvre donc d'un seul coup le style, le sens, la langue et d'autres propriétés.

Où télécharger emb-diversity ?

L'outil est en accès libre sur GitHub, dans le dépôt nlpsoc/emb-diversity. Il s'agit d'un paquet de recherche issu du preprint arXiv (section cs.CL), disponible gratuitement.