Sociolingüística en lugar de LLM como juez: un estudio prueba personas de simulación en 5 agentes

Los simuladores de usuarios se han convertido en una herramienta de trabajo para probar agentes: faltan personas reales para los tests y cada vez hay más agentes comerciales. El problema es que los propios simuladores se distinguen de forma notable de las personas reales, y su fiabilidad suele evaluarla otro LLM, lo que resulta caro y subjetivo. Los autores de un nuevo preprint en arXiv (cs.CL, 2610.10988) proponen eliminar al juez del proceso y medir la fidelidad de la persona con métodos deterministas. El experimento piloto se realizó con cinco agentes de atención al cliente.

La persona como conjunto de frecuencias de estilo

Lo habitual es describir la persona del usuario con palabras: «cliente mayor, irritado, escribe de forma breve». Es el propio modelo quien decide cómo convertir esa etiqueta en comportamiento, y el resultado se verifica mal. Los investigadores siguen otro camino y se apoyan en la sociolingüística. Aquí la persona es un tipo social que se manifiesta en un estilo lingüístico observable. Por eso la definen mediante indicadores de estilo concretos, es decir, frecuencias de rasgos lingüísticos.

Esta representación permite recurrir a dos herramientas conocidas desde hace tiempo, que no necesitan un modelo evaluador entrenado:

• estilometría para la verificación de autoría: se comprueba si los textos de distintas personas se distinguen por su estilo;
• análisis de contenido léxico: se calcula en qué medida las réplicas coinciden con las frecuencias definidas.

Ambos métodos se convierten en un diagnóstico de fidelidad. Son reproducibles, baratos y ofrecen números, no la opinión de otro modelo.

Qué mostró el test A/B

Se comparó el esquema sociolingüístico con una línea base descriptiva plana, en la que la persona se escribe como una descripción de texto corriente. El test se ejecutó en cinco agentes de soporte orientados a tareas (task-oriented). Según los datos de la anotación, el esquema mejoró tanto la correspondencia de estilo como la distinguibilidad estilométrica en la mayoría de los modelos probados. Eso significa que en una parte de los modelos no hay efecto o es más débil, y la anotación no revela en cuáles.

Los propios autores añaden una salvedad: la fidelidad de estilo de una persona no equivale a su «naturalidad». Una réplica puede ajustarse con exactitud a las frecuencias definidas y aun así sonar como escrita por una máquina. Para quienes piensan sustituir a los testers humanos por simuladores, es una limitación importante. Las métricas indican en qué medida se cumple el estilo definido, pero no garantizan que una persona habría escrito así.

Otra idea del trabajo se refiere al uso de las métricas. Donde más valor aportan es en la atribución de errores: permiten ver en qué nivel se rompe el estilo, por ejemplo en el léxico, la longitud de las frases o la puntuación. Es un paso hacia intervenciones que acerquen el simulador a la diversidad real del lenguaje de los usuarios.

Cómo aplicarlo al testeo de agentes

El trabajo es piloto y por ahora existe solo como preprint, sin revisión por pares, y la muestra de cinco agentes es pequeña. Aun así, la conclusión práctica para los equipos que construyen pipelines de evaluación (eval) de agentes está clara:

• Describa a los usuarios de prueba con números. Las proporciones de abreviaturas, erratas y fórmulas de cortesía, así como la longitud de la réplica, se pueden verificar; un «cliente algo brusco» no.
• Añada una capa de verificación determinista junto al LLM como juez. Es más barata y permite detectar regresiones del simulador al cambiar de modelo.
• Analice los fallos por componentes de estilo. Si la persona se «diluye» en el léxico y no en la sintaxis, hay que corregir un fragmento concreto del prompt.
• No confunda la precisión de estilo con realismo. Para la validación final sigue haciendo falta una muestra de diálogos reales o una evaluación hecha por personas.

Si el enfoque se confirma con más modelos y dominios, ofrecerá al sector una vara de medir barata y reproducible para uno de los puntos más débiles de la evaluación de agentes.