emb-diversity: инструмент измерения разнообразия данных на основе эмбеддингов

Des chercheurs du projet nlpsoc ont publié en juillet 2026 un préprint sur arXiv, accompagné d'un outil open source appelé emb-diversity — un ensemble de métriques qui mesure la diversité des données textuelles à partir d'embeddings, et pas seulement du vocabulaire, et qui fonctionne avec n'importe quel modèle d'embedding.

Ce que mesure emb-diversity

emb-diversity évalue simultanément quatre types de diversité du jeu de données : stylistique, sémantique, linguistique et des locuteurs. Contrairement aux métriques lexicales, qui comptent les mots uniques et les n-grammes, l'outil travaille avec des vecteurs numériques (embeddings) — il s'applique donc à toute donnée pouvant être vectorisée, pas seulement au texte.

L'idée clé est la flexibilité. Selon les auteurs, les mesures basées sur les embeddings fonctionnent avec n'importe quel modèle d'embedding et toute donnée pouvant être vectorisée, ce qui les rend adaptées à de multiples interprétations de la notion de « diversité ».

• L'outil est emb-diversity, open source sur GitHub (dépôt nlpsoc/emb-diversity)
• Fonctionne avec n'importe quel modèle d'embedding et toute donnée pouvant être vectorisée
• Mesure 4 types de diversité : stylistique, sémantique, linguistique, des locuteurs
• Publié comme préprint sur arXiv dans la section cs.CL, version v1, juillet 2026
• Couvre un large éventail de mesures de diversité en un seul package

Pourquoi c'est important pour le NLP

emb-diversity comble une lacune précise — la fragmentation des méthodes existantes. Comme le notent les auteurs, il existe déjà de nombreux outils pour mesurer la diversité lexicale d'un texte, mais les chercheurs ne disposaient pas jusqu'ici d'une méthode standardisée pour calculer la diversité à partir d'embeddings.

La diversité des données d'entraînement influence directement la qualité des modèles. Les auteurs du préprint citent un corpus croissant de preuves : plus les données sont diverses, plus les modèles de NLP se révèlent équitables et robustes. Un jeu de données unilatéral ou biaisé conduit à des systèmes biaisés et fragiles — et sans outil de mesure commun, ce problème est difficile même à constater.

«

Il existe de plus en plus de preuves que la diversité des données est essentielle pour construire des modèles de NLP équitables et robustes », — extrait du résumé du préprint emb-diversity sur arXiv.

Comment utiliser l'outil

emb-diversity est disponible en open source dans le dépôt nlpsoc/emb-diversity sur GitHub — il peut être intégré à son propre pipeline de préparation des données. Les auteurs présentent plusieurs scénarios : analyse de la diversité stylistique, sémantique, linguistique et des locuteurs dans des jeux de données concrets.

Les métriques sont construites au-dessus des embeddings, si bien que le développeur choisit lui-même le modèle d'embedding adapté à sa tâche — des encodeurs multilingues aux modèles de domaine spécialisés. Cela permet de mesurer non pas une notion figée unique de « diversité », mais celle qui compte dans un projet donné.

Ce que cela signifie

emb-diversity offre aux équipes un moyen unifié d'évaluer quantitativement la diversité de leur jeu de données, avant même l'entraînement d'un modèle. Pour ceux qui luttent contre les biais et la fragilité des systèmes, c'est une étape de diagnostic peu coûteuse avant un entraînement onéreux.

Questions fréquentes

Qu'est-ce que la diversité des données basée sur les embeddings ?

C'est une mesure de la diversité d'un jeu de données via des vecteurs numériques (embeddings), plutôt que par le comptage de mots uniques. L'approche fonctionne avec n'importe quel modèle d'embedding et toute donnée pouvant être vectorisée, elle couvre donc à la fois le style, le sens, la langue et d'autres propriétés.

Où télécharger emb-diversity ?

L'outil est disponible en accès libre sur GitHub, dans le dépôt nlpsoc/emb-diversity. Il s'agit d'un package de recherche issu d'un préprint arXiv (section cs.CL), disponible gratuitement.