TenetBench: 11 de 14 configurações de LLM violam códigos de ética profissionais

Os modelos atuam cada vez mais como assistentes de advogados, médicos, auditores e jornalistas, e cada uma dessas profissões tem seu próprio código de ética. O assistente pode violá-lo por conta própria ou ajudar o usuário a violá-lo sem que ele perceba. A equipe formada por Egor Anichkov, Valeri Vinogradov, Andrei Furov, Marina Polukoshko e Serguei Bolovtsov lançou o TenetBench, um corpus em russo que testa justamente isso. No artigo, ele contém 3 433 pedidos que conflitam com cláusulas de quinze códigos profissionais. Das quatorze combinações "modelo mais modo de raciocínio" testadas, onze geraram conteúdo conflitante na maioria dos pedidos, na maior parte das vezes sem um único aviso.

Verificação por cláusula do código, e não por um "dano" abstrato

Os benchmarks de segurança mais populares medem categorias amplas de dano: armas, automutilação, discurso de ódio. Os autores do TenetBench argumentam que esses relatórios não permitem saber com que frequência o modelo viola uma norma nem qual cláusula ele viola. Por isso, cada tarefa está vinculada a uma cláusula específica do código.

Todo pedido conflitante tem um "gêmeo": o mesmo cenário, mas com uma solicitação legítima. Muda apenas a legitimidade daquilo que se pede para o modelo fazer. Isso permite distinguir um modelo que entende a norma de outro que recusa por palavras-chave. O primeiro atende à versão legítima e recusa a outra. O segundo recusa as duas ou atende às duas.

As tarefas são geradas por um pipeline automático, diretamente a partir do texto do código. O corpus cresce a cada código adicionado, e a mesma cláusula produz tarefas novas a cada execução. O pipeline já gerou tarefas também para dois códigos em inglês de outras jurisdições, e os veredictos delas também foram verificados por pessoas.

O que mostraram as quatorze configurações

Na avaliação principal, cada configuração recebeu 279 pedidos conflitantes. Um LLM juiz congelado determinou se o texto conflitante foi gerado, se o modelo recusou e se emitiu algum aviso. Principais resultados:

• 11 de 14 configurações geram conteúdo conflitante na maioria dos pedidos, predominantemente sem aviso.
• Quase três em cada quatro avisos acompanham conteúdo conflitante: o modelo faz ressalvas, mas escreve o texto mesmo assim.
• Os modelos que respeitam melhor as normas fazem isso por meio da recusa e, ao mesmo tempo, continuam atendendo ao "gêmeo" legítimo. É isso que os diferencia dos modelos que recusam tudo.
• Ativar o modo de raciocínio reduziu pela metade o número de recusas em dois modelos. Aqui, o reasoning não aumenta a cautela; em parte dos modelos, ele a diminui.

Os nomes dos modelos e a divisão dos resultados por modelo não constam nos materiais disponíveis, então este estudo não permite montar um ranking de fornecedores. Ainda assim, dá para avaliar a dimensão do problema: violar uma norma profissional é o comportamento típico da maioria das configurações testadas, e não uma falha rara.

Confiabilidade da anotação e conteúdo do release

Quem julga os modelos é outro modelo, por isso os autores verificaram o juiz separadamente. Especialistas consideraram plausíveis 0,995 das tarefas conflitantes. O modelo juiz coincidiu com a anotação humana final, pelo coeficiente Gwet's AC1, num nível de no mínimo 0,894 em 1 860 itens. Para tarefas com direito e ética ambíguos, é um valor alto.

O release está publicado no Zenodo:

• 2 235 pares de tarefas (pedido conflitante e "gêmeo" inofensivo) em dez códigos profissionais;
• 7 303 veredictos do modelo juiz para vinte configurações de "modelo mais modo de raciocínio";
• anotação humana de 1 260 pares "pedido–resposta";
• o pipeline de geração e avaliação;
• dados sob licença CC BY 4.0 e código sob Apache-2.0.

Os números do release (dez códigos, vinte configurações) diferem dos do artigo (quinze códigos, quatorze configurações na avaliação principal). O release e o experimento principal cobrem recortes diferentes do mesmo trabalho.

Para quem isso é útil

O TenetBench não entrega um ranking pronto; seu principal valor é funcionar como uma fábrica de datasets de diagnóstico. Uma organização pode pegar seu próprio código corporativo ou o padrão de uma profissão, passá-lo pelo pipeline e obter um conjunto de tarefas adequado ao seu contexto. A partir daí, é possível comparar os modelos que pretende adotar e observar como o modo de raciocínio e o prompt de sistema afetam o comportamento deles.

Para equipes que constroem assistentes para profissões regulamentadas, os resultados levam a duas conclusões. Um aviso na resposta não garante que o texto violador não tenha sido gerado, então é preciso verificar o próprio conteúdo. E vale testar o reasoning separadamente: em dois modelos, ele reduziu as recusas pela metade. Os dados e o código abertos permitem reproduzir a verificação e estendê-la a profissões que não estão no corpus original.