D2VBench: un benchmark de 10 000 dilemas evalúa la alineación de valores de los LLM

En julio de 2026, un grupo de investigadores presentó en arXiv D2VBench, una herramienta para evaluar la alineación de valores (value alignment) de los grandes modelos de lenguaje mediante 10 000 dilemas cotidianos, basada en 158 conceptos de valores anotados manualmente.

Qué evalúa D2VBench

D2VBench analiza qué valores sustentan las respuestas de un modelo cuando, en una situación cotidiana, chocan varios principios a la vez: por ejemplo, honestidad frente a cuidado, o beneficio personal frente a bien común. Según los autores, los conjuntos de pruebas anteriores cubrían mal precisamente este tipo de conflictos multifactoriales y se apoyaban en formatos de evaluación demasiado simplificados.

Cada uno de los 10 000 escenarios se construyó por fases, en colaboración entre modelos de lenguaje y anotadores humanos. La base son 158 conceptos de valores de grano fino (fine-grained), anotados manualmente, lo que permite vincular la reacción del modelo a una categoría de valor concreta y no a una «ética» genérica.

• Volumen: 10 000 escenarios de dilemas cotidianos reales
• Base de la anotación: 158 conceptos de valores anotados manualmente
• Construcción: colaboración multietapa entre LLM y humanos
• Evaluación: híbrido de preguntas cerradas (multiple-choice) y abiertas (open-ended)
• Cobertura: se probaron 8 LLM de uso extendido
• Datos: el conjunto de datos está publicado en GitHub (tjunlp-lab/D2VBench)

Cómo funciona la evaluación

La evaluación de D2VBench es un híbrido: las preguntas cerradas con opciones de respuesta se combinan con preguntas abiertas, en las que el modelo formula su respuesta libremente. Según el planteamiento de los autores, este formato no solo detecta la elección «correcta», sino también cómo el modelo justifica su decisión y prioriza entre valores en conflicto.

Los autores pasaron por el benchmark 8 modelos de lenguaje de uso extendido. Según sus datos, D2VBench muestra una alta fiabilidad y estabilidad y refleja la alineación de los modelos en distintas categorías y dimensiones de valores; es decir, ofrece un panorama más detallado que una evaluación binaria del tipo «ético o no ético».

«Los benchmarks existentes no cubren lo suficiente los dilemas de

valores de escenarios cotidianos con múltiples conflictos de valores y utilizan formatos de evaluación simplificados», señala el artículo de los autores de D2VBench en arXiv.

Por qué importa

La alineación de valores se vuelve crítica a medida que los LLM llegan a escenarios cotidianos reales, desde consejos de salud hasta conflictos familiares y laborales. D2VBench, como se indica en su descripción en arXiv, nace como una herramienta más realista y detallada para la investigación en este campo: no muestra una puntuación media de «seguridad», sino el comportamiento del modelo en ejes de valores concretos.

La publicación del conjunto de datos en abierto en GitHub implica que otros equipos podrán reproducir los resultados y someter a los 10 000 dilemas sus propios modelos, y no solo los 8 que probaron los autores. El desglose en 158 conceptos y en dos formatos de preguntas permite comparar modelos no por una sola cifra, sino por un perfil de comportamiento de valores.

Qué significa

D2VBench traslada el debate sobre la «seguridad» de la IA del terreno de las declaraciones generales a una cuadrícula medible de 158 conceptos de valores. Para los desarrolladores, es una forma de ver dónde exactamente flaquea un modelo ante un conflicto de valores, en lugar de recibir simplemente una puntuación agregada única.

Preguntas frecuentes

¿Qué es D2VBench?

D2VBench es un benchmark para evaluar la alineación de valores de los grandes modelos de lenguaje. Consta de 10 000 escenarios de dilemas cotidianos y se apoya en 158 conceptos de valores anotados manualmente.

¿Cuántos escenarios hay en D2VBench?

El benchmark contiene 10 000 escenarios de dilemas cotidianos reales, cada uno de ellos construido en varias fases con la participación de modelos de lenguaje y anotadores humanos.

¿Dónde se puede descargar el conjunto de datos de D2VBench?

El conjunto de datos está disponible en abierto en GitHub, en el repositorio tjunlp-lab/D2VBench, y puede utilizarse para probar modelos propios.