D2VBench: benchmark com 10 000 dilemas testa o alinhamento de valores em LLMs

Em julho de 2026, pesquisadores apresentaram no arXiv o D2VBench, ferramenta para avaliar o alinhamento de valores (value alignment) de grandes modelos de linguagem em 10 000 dilemas cotidianos, com base em 158 conceitos de valores anotados manualmente.

O que o D2VBench avalia

O D2VBench avalia quais valores estão por trás das respostas de um modelo quando, numa situação do dia a dia, vários princípios entram em conflito ao mesmo tempo, como honestidade contra cuidado ou ganho pessoal contra bem coletivo. Na avaliação dos autores, os conjuntos de testes anteriores cobriam mal justamente esses conflitos multifatoriais e se apoiavam em formatos de avaliação simplificados demais.

Cada um dos 10 000 cenários foi construído em etapas, numa colaboração entre modelos de linguagem e anotadores humanos. A base é formada por 158 conceitos de valores detalhados (fine-grained), anotados manualmente, o que permite associar a reação do modelo a uma categoria de valor específica, e não a uma noção genérica de "ética".

• Volume: 10 000 cenários de dilemas cotidianos reais
• Base da anotação: 158 conceitos de valores anotados manualmente
• Construção: colaboração em várias etapas entre LLMs e humanos
• Avaliação: híbrido de perguntas fechadas (multiple-choice) e abertas (open-ended)
• Cobertura: 8 LLMs de uso difundido foram testados
• Dados: dataset publicado no GitHub (tjunlp-lab/D2VBench)

Como funciona a avaliação

A avaliação do D2VBench é um híbrido: perguntas fechadas, com alternativas de resposta, se combinam com perguntas abertas, nas quais o modelo formula a resposta livremente. Segundo os autores, esse formato capta não apenas a escolha "correta", mas também como o modelo justifica a decisão e define prioridades entre valores em conflito.

Os autores submeteram ao benchmark 8 modelos de linguagem de uso difundido. De acordo com eles, o D2VBench demonstra alta confiabilidade e robustez e reflete o alinhamento dos modelos em diferentes categorias e dimensões de valores, ou seja, oferece um retrato mais detalhado do que a avaliação binária de "ético ou não".

"Os benchmarks existentes não cobrem de forma suficiente os dilemas de

valores em cenários cotidianos com múltiplos conflitos de valores e usam formatos de avaliação simplificados", diz o artigo dos autores do D2VBench no arXiv.

Por que isso importa

O alinhamento de valores se torna crítico à medida que os LLMs chegam a situações reais do cotidiano, de conselhos de saúde a conflitos familiares e profissionais. O D2VBench, como indica a descrição no arXiv, foi concebido como uma ferramenta mais realista e detalhada para pesquisas nessa área: em vez de uma nota média de "segurança", ele mostra o comportamento do modelo em eixos de valores específicos.

A publicação do dataset em acesso aberto no GitHub significa que outras equipes poderão reproduzir os resultados e submeter seus próprios modelos aos 10 000 dilemas, e não apenas os 8 testados pelos autores. A divisão em 158 conceitos e em dois formatos de pergunta permite comparar modelos não por um único número, mas pelo perfil de comportamento em relação a valores.

O que isso significa

O D2VBench tira a discussão sobre "segurança" da IA do campo das declarações genéricas e a leva para uma grade mensurável de 158 conceitos de valores. Para os desenvolvedores, é um modo de ver exatamente onde o modelo falha diante de um conflito de valores, em vez de receber apenas uma nota agregada única.

Perguntas frequentes

O que é o D2VBench?

O D2VBench é um benchmark para avaliar o alinhamento de valores de grandes modelos de linguagem, composto por 10 000 cenários de dilemas cotidianos e baseado em 158 conceitos de valores anotados manualmente.

Quantos cenários o D2VBench tem?

O benchmark contém 10 000 cenários de dilemas cotidianos reais, cada um construído em várias etapas, com a participação de modelos de linguagem e anotadores humanos.

Onde baixar o dataset do D2VBench?

O dataset está disponível em acesso aberto no GitHub, no repositório tjunlp-lab/D2VBench, e pode ser usado para testar modelos próprios.