TenetBench: 11 de 14 configuraciones de LLM incumplen los códigos éticos de las profesiones

Los modelos trabajan cada vez más como asistentes de abogados, médicos, auditores y periodistas, y cada una de estas profesiones tiene su propio código de ética. Un asistente puede infringirlo por sí mismo o ayudar al usuario a infringirlo sin que este se dé cuenta. El equipo formado por Egor Anichkov, Valeri Vinogradov, Andréi Furov, Marina Polukoshko y Serguéi Bolovtsov ha publicado TenetBench, un corpus en ruso que comprueba justamente eso. Según el artículo, contiene 3 433 peticiones que entran en conflicto con cláusulas de quince códigos profesionales. De las catorce combinaciones de «modelo más modo de razonamiento» probadas, once generaron contenido conflictivo en la mayoría de las peticiones, casi siempre sin una sola advertencia.

Comprobación por cláusula del código, no por un «daño» abstracto

Los benchmarks de seguridad más populares miden categorías amplias de daño: armas, autolesiones, odio. Los autores de TenetBench sostienen que esos informes no permiten saber con qué frecuencia un modelo infringe una norma ni cuál en concreto. Por eso cada tarea está vinculada a una cláusula concreta del código.

Cada petición conflictiva tiene un «gemelo»: el mismo escenario, pero con una solicitud legítima. Lo único que cambia es la legitimidad de lo que se pide hacer. Así se distingue un modelo que entiende la norma de uno que rechaza por palabras clave. El primero ejecutará la versión legítima y rechazará la otra. El segundo rechazará ambas o cumplirá ambas.

Un pipeline automático genera las tareas directamente a partir del texto del código. El corpus crece con cada código que se añade, y una misma cláusula produce tareas nuevas en cada ejecución. El pipeline ya ha generado tareas también para dos códigos en inglés de otras jurisdicciones, y sus veredictos también fueron revisados por personas.

Qué mostraron las catorce configuraciones

En la evaluación principal, cada configuración recibió 279 peticiones conflictivas. Un LLM juez congelado determinó si se genera texto conflictivo, si el modelo rechaza y si advierte. Resultados clave:

• 11 de las 14 configuraciones generan contenido conflictivo en la mayoría de las peticiones, sobre todo sin advertencia.
• Casi tres de cada cuatro advertencias acompañan a contenido conflictivo: el modelo se excusa, pero escribe el texto de todos modos.
• Los modelos que respetan mejor las normas lo hacen mediante el rechazo y, al mismo tiempo, siguen atendiendo al «gemelo» legítimo. Eso los distingue de los modelos que rechazan todo indiscriminadamente.
• Activar el modo de razonamiento redujo a la mitad el número de rechazos en dos modelos. Aquí el reasoning no aumenta la cautela; en una parte de los modelos la reduce.

Los materiales disponibles no indican los nombres de los modelos ni el desglose por cada uno, por lo que este estudio no permite elaborar un ranking de proveedores. Sí permite juzgar la magnitud del problema: infringir una norma profesional es el comportamiento típico de la mayoría de las configuraciones evaluadas, no un fallo excepcional.

Fiabilidad del etiquetado y contenido de la publicación

Los modelos son juzgados por otro modelo, así que los autores verificaron aparte al juez. Los especialistas consideraron verosímiles 0,995 de las tareas conflictivas. El modelo juez coincidió con el etiquetado humano final con un coeficiente Gwet's AC1 no inferior a 0,894 sobre 1 860 elementos. Para tareas con derecho y ética ambiguos, es un valor alto.

En Zenodo se ha publicado una versión con este contenido:

• 2 235 pares de tareas (petición conflictiva y «gemelo» inofensivo) de diez códigos profesionales;
• 7 303 veredictos del modelo juez sobre veinte configuraciones de «modelo más modo de razonamiento»;
• etiquetado humano de 1 260 pares «petición–respuesta»;
• el pipeline de generación y evaluación;
• datos con licencia CC BY 4.0 y código con Apache-2.0.

Las cifras de la publicación (diez códigos, veinte configuraciones) difieren de las del artículo (quince códigos, catorce configuraciones en la evaluación principal). La publicación y el experimento principal abarcan distintos recortes de un mismo trabajo.

A quién le resulta útil

El principal valor de TenetBench es que no se trata de un ranking ya hecho, sino de una máquina para fabricar datasets de diagnóstico. Una organización puede tomar su propio código corporativo o el estándar de su profesión, pasarlo por el pipeline y obtener un conjunto de tareas adaptado a su contexto. Después puede comparar los modelos que planea implantar y observar cómo influyen en su comportamiento el modo de razonamiento y el prompt de sistema.

Para los equipos que desarrollan asistentes para profesiones reguladas, los resultados llevan a dos conclusiones. Una advertencia en la respuesta no garantiza que no se haya entregado un texto que infringe la norma, por lo que hay que revisar el contenido en sí. Conviene probar por separado la activación del reasoning: en dos modelos redujo los rechazos a la mitad. Los datos y el código abiertos permiten reproducir la comprobación y ampliarla a profesiones que no figuran en el corpus original.