D2VBench : un benchmark de 10 000 dilemmes pour tester l'alignement des valeurs des LLM

En juillet 2026, des chercheurs ont présenté sur arXiv D2VBench, un outil d'évaluation de l'alignement des valeurs (value alignment) des grands modèles de langage. Il s'appuie sur 10 000 dilemmes du quotidien et sur 158 concepts de valeurs annotés à la main.

Ce que mesure D2VBench

D2VBench évalue quelles valeurs sous-tendent les réponses d'un modèle lorsque plusieurs principes s'affrontent dans une situation de la vie courante, par exemple l'honnêteté contre la bienveillance, ou l'intérêt personnel contre le bien commun. Selon les auteurs, les jeux de tests existants couvraient mal ces conflits multifactoriels et reposaient sur des formats d'évaluation trop simplifiés.

Chacun des 10 000 scénarios a été construit par étapes, en combinant des modèles de langage et des annotateurs humains. La base est composée de 158 concepts de valeurs fins (fine-grained), annotés à la main. Cela permet de relier la réaction du modèle à une catégorie de valeurs précise, plutôt qu'à une « éthique » générique.

• Volume : 10 000 scénarios de dilemmes réels du quotidien
• Base de l'annotation : 158 concepts de valeurs annotés manuellement
• Construction : collaboration en plusieurs étapes entre LLM et humains
• Évaluation : approche hybride mêlant questions fermées (multiple-choice) et questions ouvertes (open-ended)
• Couverture : 8 LLM courants testés
• Données : jeu de données publié sur GitHub (tjunlp-lab/D2VBench)

Comment fonctionne l'évaluation

L'évaluation de D2VBench est hybride : des questions fermées à choix multiples sont associées à des questions ouvertes, où le modèle formule librement sa réponse. Selon les auteurs, ce format capte non seulement le « bon » choix, mais aussi la manière dont le modèle justifie sa décision et hiérarchise les valeurs en conflit.

Les auteurs ont soumis 8 modèles de langage courants au benchmark. D'après eux, D2VBench fait preuve d'une grande fiabilité et d'une grande robustesse, et reflète l'alignement des modèles selon différentes catégories et dimensions de valeurs. Il offre ainsi un tableau plus détaillé qu'un verdict binaire du type « éthique ou non ».

«

Les benchmarks existants couvrent insuffisamment les dilemmes de valeurs des scénarios du quotidien impliquant de multiples conflits de valeurs, et utilisent des formats d'évaluation simplifiés », indique l'article des auteurs de D2VBench sur arXiv.

Pourquoi c'est important

L'alignement des valeurs devient critique à mesure que les LLM entrent dans des situations concrètes du quotidien, des conseils de santé aux conflits familiaux et professionnels. D2VBench, comme l'indique sa description sur arXiv, est conçu comme un outil de recherche plus réaliste et plus détaillé dans ce domaine : il ne produit pas un score moyen de « sécurité », mais montre le comportement du modèle sur des axes de valeurs précis.

La publication du jeu de données en accès libre sur GitHub signifie que d'autres équipes pourront reproduire les résultats et soumettre leurs propres modèles aux 10 000 dilemmes, et pas seulement les 8 testés par les auteurs. La ventilation par 158 concepts et par deux formats de questions permet de comparer les modèles non pas sur un seul chiffre, mais sur un profil de comportement face aux valeurs.

Ce que cela signifie

D2VBench fait passer le débat sur la « sécurité » de l'IA du terrain des déclarations générales à une grille mesurable de 158 concepts de valeurs. Pour les développeurs, c'est un moyen de voir précisément où un modèle faiblit face à un conflit de valeurs, au lieu de se contenter d'un score agrégé unique.

Questions fréquentes

Qu'est-ce que D2VBench ?

D2VBench est un benchmark d'évaluation de l'alignement des valeurs des grands modèles de langage. Il comprend 10 000 scénarios de dilemmes du quotidien et s'appuie sur 158 concepts de valeurs annotés à la main.

Combien de scénarios contient D2VBench ?

Le benchmark contient 10 000 scénarios de dilemmes réels du quotidien. Chacun a été construit en plusieurs étapes avec la participation de modèles de langage et d'annotateurs humains.

Où télécharger le jeu de données D2VBench ?

Le jeu de données est disponible en accès libre sur GitHub, dans le dépôt tjunlp-lab/D2VBench. Il peut servir à tester ses propres modèles.