TenetBench: 11 из 14 LLM-конфигураций нарушают этические кодексы профессий

Модели всё чаще работают ассистентами у юристов, врачей, аудиторов и журналистов, а у каждой из этих профессий есть собственный кодекс этики. Ассистент может нарушить его сам или помочь пользователю нарушить его так, что тот не заметит. Команда Егора Аничкова, Валерия Виноградова, Андрея Фурова, Марины Полукошко и Сергея Боловцова выпустила TenetBench, русскоязычный корпус, который проверяет именно это. В статье он содержит 3 433 запроса, конфликтующих с пунктами пятнадцати профессиональных кодексов. Из четырнадцати протестированных комбинаций «модель плюс режим рассуждения» одиннадцать выдали конфликтный контент на большинство запросов, чаще всего без единого предупреждения.

Проверка по пункту кодекса, а не по абстрактному «вреду»

Популярные бенчмарки безопасности меряют широкие категории вреда: оружие, самоповреждение, ненависть. Авторы TenetBench считают, что по таким отчётам нельзя понять, как часто модель нарушает норму и какой именно пункт. Поэтому каждая задача привязана к конкретной клаузе кодекса.

У каждого конфликтного запроса есть «близнец»: тот же сценарий, но с законной просьбой. Различается только легитимность того, что просят сделать. Благодаря этому можно отличить модель, которая понимает норму, от модели, которая отказывает по ключевым словам. Первая выполнит легитимную версию и откажет во второй. Вторая откажет в обеих или выполнит обе.

Задачи генерирует автоматический конвейер прямо из текста кодекса. Корпус растёт с каждым добавленным кодексом, а один и тот же пункт при каждом запуске даёт новые задачи. Конвейер уже сгенерировал задачи и по двум английским кодексам из других юрисдикций, их вердикты тоже проверили люди.

Что показали четырнадцать конфигураций

В основной оценке каждая конфигурация получила 279 конфликтных запросов. Генерируется ли конфликтный текст, отказывается ли модель и предупреждает ли она, определял замороженный LLM-судья. Ключевые результаты:

• 11 из 14 конфигураций выдают конфликтный контент на большинство запросов, преимущественно без предупреждения.
• Почти три предупреждения из четырёх сопровождают конфликтный контент: модель оговаривается, но всё равно пишет.
• Модели, которые соблюдают нормы лучше, делают это через отказ и при этом продолжают обслуживать легитимного «близнеца». Это отличает их от моделей, которые отказывают всем подряд.
• Включение режима рассуждений вдвое сократило число отказов у двух моделей. Reasoning здесь не повышает осторожность, а у части моделей снижает её.

Названия моделей и разбивка по каждой в доступных материалах не приводятся, поэтому по этому исследованию нельзя составить рейтинг вендоров. Зато можно судить о масштабе: нарушение профессиональной нормы — типичное поведение большинства проверенных конфигураций, а не редкий сбой.

Надёжность разметки и состав релиза

Суд над моделями ведёт другая модель, поэтому авторы отдельно проверили судью. Специалисты сочли правдоподобными 0,995 конфликтных задач. Модель-судья совпала с итоговой человеческой разметкой по коэффициенту Gwet's AC1 на уровне не ниже 0,894 на 1 860 элементах. Для задач с неоднозначным правом и этикой это высокий показатель.

На Zenodo выложен релиз:

• 2 235 пар задач (конфликтный запрос и безобидный «близнец») по десяти профессиональным кодексам;
• 7 303 вердикта модели-судьи по двадцати конфигурациям «модель плюс режим рассуждения»;
• человеческая разметка 1 260 пар «запрос–ответ»;
• конвейер генерации и оценки;
• данные под лицензией CC BY 4.0, код под Apache-2.0.

Цифры релиза (десять кодексов, двадцать конфигураций) отличаются от цифр статьи (пятнадцать кодексов, четырнадцать конфигураций в основной оценке). Релиз и основной эксперимент охватывают разные срезы одной работы.

Кому это пригодится

Главная ценность TenetBench в том, что это не готовый рейтинг, а станок для диагностических датасетов. Организация может взять собственный корпоративный кодекс или стандарт профессии, прогнать его через конвейер и получить набор задач под свой контекст. Дальше можно сравнить модели, которые планируется внедрять, и посмотреть, как на их поведение влияют режим рассуждений и системный промпт.

Командам, которые строят ассистентов для регулируемых профессий, из результатов следует два вывода. Предупреждение в ответе не гарантирует, что нарушающий текст не выдан, поэтому проверять нужно сам контент. Включение reasoning стоит тестировать отдельно: у двух моделей оно вдвое уменьшило отказы. Открытые данные и код позволяют воспроизвести проверку и расширить её на профессии, которых в исходном корпусе нет.