Исследователи разметили 2122 диалога WildChat: 71,1% юридических чатов ищут личный совет

Люди давно используют чат-ботов как бесплатного юриста: спрашивают о правах, обязанностях, порядке действий и о ситуациях, где у решения могут быть правовые последствия. Новая работа, попавшая в Hugging Face Daily Papers, пытается измерить это поведение. Авторы разобрали 2122 естественных диалога из датасета WildChat-1M и выяснили: среди разговоров с юридическим содержанием 71,1% просят персонализированный или практический совет, а не общую справку о законе. Вместе с анализом они опубликовали аннотации, обученные модели и код оценки.

Как отличить юридический совет от разговора о юриспруденции

Первая проблема исследования в том, что слова «договор» или «суд» ещё не означают запрос юридической помощи. Пользователь может обсуждать сюжет сериала, готовить реферат или просить переписать текст закона. Поэтому авторы построили многоосевую таксономию. Она отвечает на три вопроса: ищет ли человек именно юридическое руководство, как сформулирован запрос и к каким областям права он относится.

Таксономию применили к 2122 диалогам, а затем создали эталонный набор: 200 разговоров, проверенных людьми. Это небольшой объём, но он нужен для честной оценки классификаторов. Важная оговорка: авторы сами называют выборку обогащённой, то есть диалоги отбирались с расчётом на юридическую тематику. Проценты из работы описывают именно эту выборку, а не весь трафик к языковым моделям.

Что показали цифры

Главные наблюдения из аннотации:

• 71,1% разговоров с юридическим содержанием нацелены на персонализированный или практический совет;
• самый частый основной тип запроса — права и варианты действий (rights-and-options);
• 25,3% диалогов, где совет действительно запрашивается, охватывают несколько юридических тем сразу;
• размеченных диалогов 2122, эталонный набор — 200.

Последний пункт важен практически. Реальная жизненная проблема редко укладывается в одну рубрику: увольнение тянет за собой трудовое право, налоги и, например, аренду жилья. Четверть диалогов с запросом совета выходит за рамки одной области, и системы, которые маршрутизируют вопросы по узким категориям, будут на этом ошибаться.

Модели: ModernBERT против TF-IDF

Вторая часть работы — инженерная. На эталонном наборе авторы провели двухэтапное сравнение ModernBERT-base и ModernBERT-large с каскадом на основе TF-IDF. Идея понятна: большой корпус вроде WildChat-1M нельзя разметить вручную, значит нужен дешёвый классификатор, который сначала отсеивает нерелевантное, а затем определяет, есть ли в диалоге запрос юридического руководства. В аннотации численных результатов сравнения нет, так что судить, насколько энкодеры обошли классический baseline, можно только по полному тексту статьи.

Сильная сторона релиза — воспроизводимость. Опубликованы все аннотации, чекпойнты моделей и код оценки. Другие группы могут проверить результаты, дообучить классификаторы на своих данных или перенести таксономию на другие корпуса диалогов.

Кому это пригодится

Разработчикам юридических и потребительских ассистентов полезно взять таксономию как заготовку для логирования: разделять запросы справочные и запросы о личной ситуации, отдельно отмечать многотемные случаи. Для вторых нужны другие оговорки, эскалация к специалисту и аккуратная работа с персональными данными.

Команды, которые отвечают за безопасность и политику моделей, получают инструмент для оценки реального спроса. Если большинство юридически окрашенных диалогов — запросы на практический совет, то тестировать надо именно такие сценарии, а не экзаменационные вопросы по праву.

Исследователям стоит помнить об ограничениях: выборка обогащённая, эталон невелик, а данные взяты из одного корпуса. Для выводов о том, как люди обращаются к ИИ за юридической помощью в целом, понадобятся другие источники и более широкая проверка.