Investigadores etiquetan 2122 diálogos de WildChat: el 71,1% de los chats legales busca asesoramiento personal

Hace tiempo que la gente usa los chatbots como abogado gratuito: pregunta por derechos, obligaciones, trámites y situaciones en las que una decisión puede tener consecuencias legales. Un nuevo trabajo, que apareció en Hugging Face Daily Papers, intenta medir ese comportamiento. Los autores analizaron 2122 diálogos naturales del dataset WildChat-1M y concluyeron que, entre las conversaciones con contenido jurídico, el 71,1% pide asesoramiento personalizado o práctico, y no una referencia general sobre la ley. Junto con el análisis, publicaron las anotaciones, los modelos entrenados y el código de evaluación.

Cómo distinguir el consejo jurídico de una conversación sobre derecho

El primer problema del estudio es que palabras como «contrato» o «juicio» no implican por sí solas una petición de ayuda legal. El usuario puede estar comentando la trama de una serie, preparando un trabajo académico o pidiendo que se reescriba el texto de una ley. Por eso los autores construyeron una taxonomía multieje. Esta responde a tres preguntas: si la persona busca precisamente orientación jurídica, cómo está formulada la consulta y a qué áreas del derecho se refiere.

La taxonomía se aplicó a 2122 diálogos y, a continuación, se creó un conjunto de referencia: 200 conversaciones revisadas por personas. Es un volumen pequeño, pero necesario para evaluar con rigor los clasificadores. Hay una salvedad importante: los propios autores califican la muestra de enriquecida, es decir, los diálogos se seleccionaron con el criterio de que tuvieran temática jurídica. Los porcentajes del trabajo describen esa muestra concreta, no todo el tráfico hacia los modelos de lenguaje.

Qué muestran las cifras

Principales observaciones del resumen del artículo:

• el 71,1% de las conversaciones con contenido jurídico busca asesoramiento personalizado o práctico;
• el tipo principal de consulta más frecuente es el de derechos y opciones de actuación (rights-and-options);
• el 25,3% de los diálogos en los que realmente se pide consejo abarca varios temas jurídicos a la vez;
• se etiquetaron 2122 diálogos y el conjunto de referencia es de 200.

El último punto tiene consecuencias prácticas. Un problema real rara vez encaja en una sola categoría: un despido arrastra consigo el derecho laboral, los impuestos y, por ejemplo, el alquiler de la vivienda. Una cuarta parte de los diálogos con petición de consejo sale del marco de un único área, y los sistemas que enrutan las preguntas por categorías estrechas se equivocarán en esos casos.

Modelos: ModernBERT frente a TF-IDF

La segunda parte del trabajo es de ingeniería. Sobre el conjunto de referencia, los autores hicieron una comparación en dos etapas entre ModernBERT-base y ModernBERT-large, por un lado, y una cascada basada en TF-IDF, por otro. La idea es clara: un corpus grande como WildChat-1M no se puede etiquetar a mano, así que hace falta un clasificador barato que primero descarte lo irrelevante y luego determine si el diálogo contiene una petición de orientación jurídica. El resumen del artículo no incluye resultados numéricos de la comparación, de modo que solo el texto completo permite juzgar en qué medida los codificadores superaron al baseline clásico.

El punto fuerte de la publicación es la reproducibilidad. Se han publicado todas las anotaciones, los checkpoints de los modelos y el código de evaluación. Otros grupos pueden verificar los resultados, reentrenar los clasificadores con sus propios datos o trasladar la taxonomía a otros corpus de diálogos.

A quién le sirve

A quienes desarrollan asistentes jurídicos y de consumo les resulta útil tomar la taxonomía como plantilla para el registro de consultas: separar las preguntas de carácter informativo de las que describen una situación personal y marcar aparte los casos con varios temas. Las segundas requieren otras advertencias, derivación a un especialista y un tratamiento cuidadoso de los datos personales.

Los equipos responsables de la seguridad y las políticas de los modelos obtienen una herramienta para evaluar la demanda real. Si la mayoría de los diálogos con matiz jurídico son peticiones de consejo práctico, lo que hay que probar son precisamente esos escenarios, y no las preguntas de examen de derecho.

Los investigadores deben tener presentes las limitaciones: la muestra está enriquecida, el conjunto de referencia es pequeño y los datos proceden de un único corpus. Para sacar conclusiones sobre cómo recurre la gente a la IA en busca de ayuda jurídica en general, harán falta otras fuentes y una verificación más amplia.