Pesquisadores anotam 2122 diálogos do WildChat: 71,1% dos chats jurídicos buscam aconselhamento pessoal

As pessoas já usam chatbots como advogado gratuito há algum tempo: perguntam sobre direitos, obrigações, procedimentos e situações em que uma decisão pode ter consequências jurídicas. Um novo trabalho, destacado no Hugging Face Daily Papers, tenta medir esse comportamento. Os autores analisaram 2122 diálogos naturais do dataset WildChat-1M e concluíram que, entre as conversas com conteúdo jurídico, 71,1% pedem aconselhamento personalizado ou prático, e não uma explicação geral sobre a lei. Junto com a análise, eles publicaram as anotações, os modelos treinados e o código de avaliação.

Como distinguir aconselhamento jurídico de conversa sobre direito

O primeiro problema da pesquisa é que palavras como "contrato" ou "tribunal" não bastam para indicar um pedido de ajuda jurídica. O usuário pode estar discutindo o enredo de uma série, preparando um trabalho acadêmico ou pedindo a reescrita do texto de uma lei. Por isso, os autores construíram uma taxonomia multieixo. Ela responde a três perguntas: a pessoa busca de fato orientação jurídica, como o pedido foi formulado e a quais áreas do direito ele se refere.

A taxonomia foi aplicada aos 2122 diálogos, e depois os autores criaram um conjunto de referência: 200 conversas verificadas por humanos. O volume é pequeno, mas necessário para avaliar os classificadores com rigor. Há uma ressalva importante: os próprios autores chamam a amostra de enriquecida, ou seja, os diálogos foram selecionados com foco em temas jurídicos. Os percentuais do trabalho descrevem essa amostra, e não todo o tráfego dirigido a modelos de linguagem.

O que os números mostram

Principais observações do resumo do artigo:

• 71,1% das conversas com conteúdo jurídico buscam aconselhamento personalizado ou prático;
• o tipo principal de pedido mais frequente é o de direitos e opções de ação (rights-and-options);
• 25,3% dos diálogos em que há de fato um pedido de aconselhamento abrangem vários temas jurídicos ao mesmo tempo;
• são 2122 diálogos anotados, e o conjunto de referência tem 200.

O último ponto tem impacto prático. Um problema real raramente cabe em uma única categoria: uma demissão envolve direito trabalhista, impostos e, por exemplo, aluguel de moradia. Um quarto dos diálogos com pedido de aconselhamento ultrapassa uma única área, e sistemas que encaminham perguntas para categorias estreitas tendem a errar nesses casos.

Modelos: ModernBERT contra TF-IDF

A segunda parte do trabalho é de engenharia. No conjunto de referência, os autores fizeram uma comparação em duas etapas entre ModernBERT-base e ModernBERT-large e uma cascata baseada em TF-IDF. A lógica é clara: um corpus grande como o WildChat-1M não pode ser anotado à mão, então é preciso um classificador barato que primeiro descarte o que é irrelevante e depois determine se o diálogo contém um pedido de orientação jurídica. O resumo não traz resultados numéricos da comparação, portanto só o texto completo do artigo permite avaliar o quanto os encoders superaram o baseline clássico.

O ponto forte da publicação é a reprodutibilidade. Todas as anotações, os checkpoints dos modelos e o código de avaliação foram divulgados. Outros grupos podem verificar os resultados, refinar os classificadores com seus próprios dados ou aplicar a taxonomia a outros corpora de diálogos.

A quem isso interessa

Para quem desenvolve assistentes jurídicos e de consumo, vale usar a taxonomia como base para o logging: separar consultas informativas de consultas sobre uma situação pessoal e marcar à parte os casos com vários temas. As consultas pessoais exigem outras ressalvas, encaminhamento a um especialista e cuidado com dados pessoais.

Equipes responsáveis por segurança e políticas de modelos ganham uma ferramenta para avaliar a demanda real. Se a maioria dos diálogos com tom jurídico são pedidos de aconselhamento prático, os testes devem cobrir exatamente esses cenários, e não perguntas de prova de direito.

Pesquisadores devem ter em mente as limitações: a amostra é enriquecida, o conjunto de referência é pequeno e os dados vêm de um único corpus. Para tirar conclusões sobre como as pessoas recorrem à IA em busca de ajuda jurídica de modo geral, serão necessárias outras fontes e uma verificação mais ampla.