UserArena: un benchmark con 64 729 sesiones comprueba si se puede simular a los compradores

Los sistemas de recomendación basados en agentes aprenden a guiar al comprador hacia un objetivo a través de una cadena de decisiones que dependen del contexto. Probar estas políticas con personas reales es caro y arriesgado, por lo que la industria necesita simuladores de usuarios. El equipo RecGPT-Team ha presentado UserArena, un benchmark que mide hasta qué punto un simulador reproduce con fidelidad el comportamiento de compradores reales en sesiones largas. El conjunto incluye 64 729 trayectorias de 11 010 usuarios, 566 102 productos y 13 tipos de acciones. Junto con el benchmark, los autores proponen un método de entrenamiento llamado On-Policy Trajectory Distillation (OPTD) y afirman que lidera entre los simuladores comparados.

Por qué la precisión del siguiente clic no garantiza nada

La mayoría de los recursos existentes para sistemas de recomendación rara vez contienen trayectorias largas y detalladas de usuarios reales. Todavía es menos habitual que permitan evaluar la trayectoria completa y contrastar los resultados offline con tests A/B en producción. Por eso los simuladores se han acostumbrado a competir en la precisión de la predicción de la siguiente acción. Pero una persona en una tienda no adivina un solo paso: busca, compara, vuelve atrás, pospone, compra o se marcha. Un simulador puede predecir sin error cada clic local y, aun así, producir un patrón de comportamiento que no se parece al de ningún comprador real.

UserArena aborda este problema desde dos frentes. Las trayectorias vienen acompañadas de un entorno interactivo en el que el simulador actúa como usuario y la política de recomendación reacciona a sus pasos. Además, los resultados offline pueden compararse con los de un test A/B controlado realizado en producción. Para un desarrollador, es una oportunidad poco común de saber si puede fiarse de un simulador al elegir entre dos políticas.

Cinco niveles de evaluación

La evaluación en UserArena funciona como una escalera de menor a mayor dificultad:

• Validez de la salida. El simulador genera acciones correctas en un formato admisible.
• Decisiones locales. Con qué precisión elige la siguiente acción en un punto concreto de la sesión.
• Comportamiento secuencial. Si la cadena de pasos es realista a lo largo de toda la sesión.
• Personalización. Si el comportamiento de distintos usuarios se diferencia igual que en los datos reales.
• Resultados. Si los resultados finales coinciden con los observados en producción.

Este desglose permite ver exactamente dónde falla el simulador. Un modelo puede superar con seguridad los primeros niveles y fracasar en la personalización o en los resultados. Una única métrica agregada no lo mostraría.

OPTD: el profesor da pistas por token y el alumno actúa por su cuenta

Para mejorar la precisión, los autores proponen On-Policy Trajectory Distillation. El método funciona en modo on-policy: las respuestas las genera el propio simulador (el estudiante) y el profesor las evalúa con anotaciones densas a nivel de token. El elemento clave es la intención a nivel de trayectoria. Esta intención fija para el profesor el objetivo general de la sesión, de modo que las pistas en cada token se mantienen coherentes con lo que el usuario persigue a largo plazo.

La lógica es sencilla. Si se entrena un simulador solo con trayectorias ya hechas, gestiona mal sus propios errores: basta con tomar un camino equivocado para que acabe en estados que no vio durante el entrenamiento. Entrenar con sus propias ejecuciones y con pistas densas cierra esa brecha. Y tener en cuenta la intención evita que respuestas localmente plausibles se desvíen del objetivo general.

Entre los simuladores evaluados, OPTD obtuvo la mejor precisión global según el protocolo de UserArena. Más importante todavía: en la simulación offline fue el que más se acercó al efecto de la política registrado en el test A/B real. Esta es la métrica más cercana a la pregunta práctica: «¿se puede sustituir parte de los experimentos con usuarios reales por simulación?».

Qué se puede aprovechar ya

El código y los datos están publicados en el repositorio RecGPT-Team/UserArena de GitHub, donde también hay una página del proyecto. Los equipos que desarrollan agentes para recomendaciones y compras pueden usar el conjunto como banco de pruebas para comparar políticas offline antes de lanzar costosos tests A/B. Conviene aplicar el protocolo de cinco niveles también a los simuladores propios: muestra rápidamente en qué etapa el simulador deja de parecerse a los usuarios reales. El enfoque OPTD es aplicable allí donde haya que entrenar un modelo con secuencias largas de acciones y una intención general clara.

La limitación se desprende del propio planteamiento: el benchmark se basa en datos de un único entorno de e-commerce. Hasta qué punto las conclusiones se trasladan a otros mercados y categorías de productos lo dirán verificaciones independientes. El trabajo, firmado por Jujia Zhao, Jiakai Tang, Jing Yu, Wen Chen, Jian Wu, Han Zhu, Fei Sun, Suzan Verberne y Zhaochun Ren, se publicó en arXiv (2610.30932) y ocupó el primer puesto en la selección diaria de artículos de Hugging Face.