D2VBench: бенчмарк из 10 000 дилемм проверяет ценностное выравнивание LLM

En juillet 2026, des chercheurs ont présenté sur arXiv le benchmark D2VBench — un outil d'évaluation de l'alignement des valeurs (value alignment) des grands modèles de langage sur 10000 dilemmes du quotidien, s'appuyant sur 158 concepts de valeur annotés manuellement.

Ce que teste D2VBench

D2VBench évalue quelles valeurs se cachent derrière les réponses d'un modèle lorsque, dans une situation du quotidien, plusieurs principes entrent en conflit à la fois — par exemple, honnêteté contre bienveillance, ou intérêt personnel contre bien commun. Selon les auteurs, les jeux de tests précédents couvraient mal précisément ces conflits multifactoriels et reposaient sur des formats d'évaluation trop simplifiés.

Chacun des 10000 scénarios a été constitué par étapes — via une collaboration entre modèles de langage et annotateurs humains. À la base se trouvent 158 concepts de valeur à grain fin (fine-grained), annotés manuellement, ce qui permet de relier la réaction du modèle à une catégorie de valeur précise, et non à une « éthicité » générale.

• Volume : 10000 scénarios de dilemmes du quotidien réels
• Base d'annotation : 158 concepts de valeur annotés manuellement
• Constitution : collaboration multi-étapes entre LLM et humains
• Évaluation : un hybride de questions fermées (à choix multiple) et ouvertes (open-ended)
• Couverture : 8 LLM courants ont été testés
• Données : le jeu de données est publié sur GitHub (tjunlp-lab/D2VBench)

Comment fonctionne l'évaluation

L'évaluation dans D2VBench est construite comme un hybride : des questions fermées avec choix de réponses sont combinées à des questions ouvertes, où le modèle formule sa réponse librement. Ce format, selon l'intention des auteurs, saisit non seulement le choix « correct », mais aussi la manière dont le modèle justifie sa décision et hiérarchise les valeurs en conflit.

Les auteurs ont fait passer 8 modèles de langage courants à travers le benchmark. Selon leurs données, D2VBench fait preuve d'une grande fiabilité et d'une grande robustesse, et reflète l'alignement des modèles selon différentes catégories et dimensions de valeurs — c'est-à-dire qu'il offre un tableau plus détaillé qu'une évaluation binaire « éthique ou non ».

«

Les benchmarks existants ne couvrent pas suffisamment les dilemmes de valeurs des scénarios du quotidien comportant de multiples conflits de valeurs, et utilisent des formats d'évaluation simplifiés », indique l'article des auteurs de D2VBench sur arXiv.

Pourquoi c'est important

L'alignement des valeurs devient critique à mesure que les LLM s'introduisent dans des scénarios du quotidien réels — des conseils de santé aux conflits familiaux et professionnels. D2VBench, comme le précise la description sur arXiv, se veut un outil de recherche plus réaliste et plus détaillé dans ce domaine : il montre non pas un score moyen de « sécurité », mais le comportement du modèle selon des axes de valeur précis.

La publication du jeu de données en accès libre sur GitHub signifie que d'autres équipes pourront reproduire les résultats et faire passer leurs propres modèles à travers les 10000 dilemmes, et pas seulement les 8 testés par les auteurs. La répartition en 158 concepts et deux formats de questions permet de comparer les modèles non pas sur un seul chiffre, mais sur un profil de comportement en matière de valeurs.

Ce que cela signifie

D2VBench fait passer le débat sur la « sécurité » de l'IA du plan des déclarations générales à une grille mesurable de 158 concepts de valeur. Pour les développeurs, c'est un moyen de voir précisément où le modèle flanche face à un conflit de valeurs, plutôt que d'obtenir simplement un score agrégé unique.

Questions fréquentes

Qu'est-ce que D2VBench ?

D2VBench est un benchmark d'évaluation de l'alignement des valeurs des grands modèles de langage, composé de 10000 scénarios de dilemmes du quotidien et s'appuyant sur 158 concepts de valeur annotés manuellement.

Combien de scénarios compte D2VBench ?

Le benchmark contient 10000 scénarios de dilemmes du quotidien réels, dont chacun a été constitué en plusieurs étapes avec la participation de modèles de langage et d'annotateurs humains.

Où télécharger le jeu de données D2VBench ?

Le jeu de données est publié en accès libre sur GitHub, dans le dépôt tjunlp-lab/D2VBench — il peut être utilisé pour tester ses propres modèles.