TenetBench : 11 configurations de LLM sur 14 enfreignent les codes de déontologie professionnels

Les modèles servent de plus en plus d'assistants à des juristes, des médecins, des auditeurs et des journalistes, et chacune de ces professions a son propre code de déontologie. Un assistant peut l'enfreindre de lui-même, ou aider l'utilisateur à l'enfreindre sans que celui-ci s'en aperçoive. L'équipe composée d'Egor Anichkov, Valeri Vinogradov, Andreï Fourov, Marina Polukochko et Sergueï Bolovtsov publie TenetBench, un corpus russophone qui teste précisément cela. Dans l'article, il contient 3 433 requêtes en conflit avec des articles de quinze codes professionnels. Sur les quatorze combinaisons « modèle plus mode de raisonnement » testées, onze ont produit du contenu conflictuel pour la majorité des requêtes, le plus souvent sans le moindre avertissement.

Une vérification par article du code, et non par « préjudice » abstrait

Les benchmarks de sécurité populaires mesurent de larges catégories de préjudice : armes, automutilation, haine. Les auteurs de TenetBench estiment que de tels rapports ne permettent pas de savoir à quelle fréquence un modèle enfreint une norme, ni quel article précis. Chaque tâche est donc rattachée à une clause concrète d'un code.

Chaque requête conflictuelle a un « jumeau » : le même scénario, mais avec une demande légitime. Seule la légitimité de ce que l'on demande de faire change. Cela permet de distinguer un modèle qui comprend la norme d'un modèle qui refuse selon des mots-clés. Le premier exécutera la version légitime et refusera la seconde. Le second refusera les deux ou exécutera les deux.

Un pipeline automatique génère les tâches directement à partir du texte du code. Le corpus s'enrichit à chaque code ajouté, et un même article produit de nouvelles tâches à chaque exécution. Le pipeline a déjà généré des tâches pour deux codes anglophones relevant d'autres juridictions, dont les verdicts ont eux aussi été vérifiés par des humains.

Ce que montrent les quatorze configurations

Dans l'évaluation principale, chaque configuration a reçu 279 requêtes conflictuelles. Un LLM-juge figé a déterminé si un texte conflictuel est généré, si le modèle refuse et s'il émet un avertissement. Principaux résultats :

• 11 configurations sur 14 produisent du contenu conflictuel pour la majorité des requêtes, pour l'essentiel sans avertissement.
• Près de trois avertissements sur quatre accompagnent du contenu conflictuel : le modèle émet des réserves, mais écrit quand même le texte.
• Les modèles qui respectent mieux les normes le font par le refus, tout en continuant à traiter le « jumeau » légitime. C'est ce qui les distingue des modèles qui refusent tout, sans discernement.
• L'activation du mode de raisonnement a divisé par deux le nombre de refus chez deux modèles. Ici, le reasoning n'accroît pas la prudence ; chez une partie des modèles, il la réduit.

Les noms des modèles et le détail par modèle ne figurent pas dans les documents disponibles : cette étude ne permet donc pas d'établir un classement des éditeurs. En revanche, elle donne la mesure du phénomène : enfreindre une norme professionnelle est le comportement typique de la plupart des configurations testées, et non un dysfonctionnement rare.

Fiabilité de l'annotation et contenu de la publication

Les modèles sont jugés par un autre modèle, c'est pourquoi les auteurs ont vérifié le juge séparément. Des spécialistes ont jugé plausibles 0,995 des tâches conflictuelles. Le modèle-juge concorde avec l'annotation humaine finale, avec un coefficient Gwet's AC1 d'au moins 0,894 sur 1 860 éléments. Pour des tâches relevant d'un droit et d'une éthique ambigus, c'est un score élevé.

La publication est disponible sur Zenodo :

• 2 235 paires de tâches (requête conflictuelle et « jumeau » inoffensif) couvrant dix codes professionnels ;
• 7 303 verdicts du modèle-juge sur vingt configurations « modèle plus mode de raisonnement » ;
• l'annotation humaine de 1 260 paires « requête–réponse » ;
• le pipeline de génération et d'évaluation ;
• les données sous licence CC BY 4.0, le code sous Apache-2.0.

Les chiffres de la publication (dix codes, vingt configurations) diffèrent de ceux de l'article (quinze codes, quatorze configurations dans l'évaluation principale). La publication et l'expérience principale couvrent des périmètres différents d'un même travail.

À qui cela sert-il

La principale valeur de TenetBench tient à ce qu'il ne s'agit pas d'un classement clés en main, mais d'une machine à fabriquer des jeux de données de diagnostic. Une organisation peut prendre son propre code d'entreprise ou la norme de sa profession, le passer dans le pipeline et obtenir un ensemble de tâches adapté à son contexte. Elle peut ensuite comparer les modèles qu'elle envisage de déployer et observer comment le mode de raisonnement et le prompt système influencent leur comportement.

Pour les équipes qui conçoivent des assistants destinés à des professions réglementées, les résultats appellent deux conclusions. Un avertissement dans la réponse ne garantit pas que le texte contrevenant n'a pas été produit : c'est donc le contenu lui-même qu'il faut vérifier. L'activation du reasoning mérite un test à part : chez deux modèles, elle a divisé par deux les refus. Les données et le code ouverts permettent de reproduire la vérification et de l'étendre à des professions absentes du corpus d'origine.