Des chercheurs ont annoté 2122 dialogues de WildChat : 71,1% des chats juridiques cherchent un conseil personnel

Les utilisateurs se servent depuis longtemps des chatbots comme d'un avocat gratuit : ils les interrogent sur leurs droits, leurs obligations, les démarches à suivre et les situations où une décision peut avoir des conséquences juridiques. Un nouveau travail, présenté dans les Hugging Face Daily Papers, tente de mesurer ce comportement. Les auteurs ont analysé 2122 dialogues naturels du jeu de données WildChat-1M. Parmi les conversations à contenu juridique, 71,1% demandent un conseil personnalisé ou pratique, et non une information générale sur la loi. Avec leur analyse, ils publient les annotations, les modèles entraînés et le code d'évaluation.

Comment distinguer un conseil juridique d'une discussion sur le droit

Première difficulté de l'étude : des mots comme « contrat » ou « tribunal » ne signalent pas forcément une demande d'aide juridique. Un utilisateur peut discuter de l'intrigue d'une série, préparer un exposé ou demander la réécriture d'un texte de loi. Les auteurs ont donc construit une taxonomie multi-axes. Elle répond à trois questions : la personne cherche-t-elle réellement une orientation juridique, comment la requête est-elle formulée, et à quels domaines du droit se rattache-t-elle ?

La taxonomie a été appliquée aux 2122 dialogues, puis les auteurs ont créé un jeu de référence : 200 conversations vérifiées par des humains. Le volume est modeste, mais il est nécessaire pour évaluer correctement les classificateurs. Une réserve importante : les auteurs qualifient eux-mêmes l'échantillon d'« enrichi », c'est-à-dire que les dialogues ont été sélectionnés en fonction de leur thématique juridique. Les pourcentages de l'étude décrivent donc cet échantillon, et non l'ensemble du trafic adressé aux modèles de langage.

Ce que montrent les chiffres

Les principaux résultats de l'abstract :

• 71,1% des conversations à contenu juridique visent un conseil personnalisé ou pratique ;
• le type de requête principal le plus fréquent concerne les droits et les options d'action (rights-and-options) ;
• 25,3% des dialogues où un conseil est effectivement demandé couvrent plusieurs thèmes juridiques à la fois ;
• 2122 dialogues ont été annotés, et le jeu de référence en compte 200.

Le dernier point a une portée pratique. Un problème de la vie réelle entre rarement dans une seule rubrique : un licenciement entraîne avec lui le droit du travail, la fiscalité et, par exemple, la location d'un logement. Un quart des dialogues avec demande de conseil dépasse le cadre d'un seul domaine, et les systèmes qui aiguillent les questions vers des catégories étroites se tromperont sur ces cas.

Les modèles : ModernBERT contre TF-IDF

La seconde partie du travail relève de l'ingénierie. Sur le jeu de référence, les auteurs ont mené une comparaison en deux étapes entre ModernBERT-base et ModernBERT-large d'un côté, et une cascade fondée sur TF-IDF de l'autre. La logique est simple : on ne peut pas annoter à la main un grand corpus comme WildChat-1M. Il faut donc un classificateur peu coûteux, qui écarte d'abord ce qui n'est pas pertinent, puis détermine si le dialogue contient une demande d'orientation juridique. L'abstract ne donne aucun résultat chiffré de cette comparaison : seul le texte complet de l'article permet de juger dans quelle mesure les encodeurs surpassent le baseline classique.

La force de cette publication tient à sa reproductibilité. Toutes les annotations, les checkpoints des modèles et le code d'évaluation sont publiés. D'autres équipes peuvent vérifier les résultats, affiner les classificateurs sur leurs propres données ou transposer la taxonomie à d'autres corpus de dialogues.

À qui cela servira

Pour les développeurs d'assistants juridiques et grand public, la taxonomie peut servir de modèle pour la journalisation : distinguer les requêtes d'information générale de celles qui portent sur une situation personnelle, et marquer à part les cas multithématiques. Les secondes exigent d'autres mises en garde, une escalade vers un spécialiste et un traitement soigneux des données personnelles.

Les équipes chargées de la sécurité et de la politique des modèles obtiennent un outil pour évaluer la demande réelle. Si la majorité des dialogues à teinte juridique sont des demandes de conseil pratique, ce sont précisément ces scénarios qu'il faut tester, et non des questions d'examen de droit.

Les chercheurs doivent garder les limites en tête : l'échantillon est enrichi, le jeu de référence est restreint et les données proviennent d'un seul corpus. Pour tirer des conclusions sur la manière dont les gens se tournent vers l'IA pour une aide juridique en général, il faudra d'autres sources et une vérification plus large.