UserArena: benchmark com 64 729 sessões testa se é possível simular compradores

Sistemas de recomendação baseados em agentes aprendem a conduzir o comprador até um objetivo por meio de uma cadeia de decisões que dependem do contexto. Testar essas políticas com pessoas reais é caro e arriscado, por isso o setor precisa de simuladores de usuários. A equipe RecGPT-Team apresentou o UserArena, um benchmark que mede o quanto um simulador reproduz com fidelidade o comportamento de compradores reais em sessões longas. O conjunto traz 64 729 trajetórias de 11 010 usuários, 566 102 produtos e 13 tipos de ação. Junto com o benchmark, os autores propuseram um método de treinamento chamado On-Policy Trajectory Distillation (OPTD) e mostraram que ele lidera entre os simuladores comparados.

Por que acertar o próximo clique não garante nada

A maioria dos recursos existentes para sistemas de recomendação raramente traz trajetórias longas e detalhadas de usuários reais. Mais raro ainda é permitirem avaliar a trajetória inteira e comparar resultados offline com testes A/B em produção. Por isso, os simuladores acabaram se acostumando a competir pela precisão na previsão da próxima ação. Mas uma pessoa em uma loja não adivinha um passo isolado. Ela pesquisa, compara, volta, adia, compra ou vai embora. Um simulador pode prever sem erro cada clique local e, mesmo assim, produzir um padrão de comportamento que não se parece com o de nenhum comprador real.

O UserArena ataca esse problema por dois lados. As trajetórias vêm acompanhadas de um ambiente interativo, no qual o simulador age como usuário e a política de recomendação reage aos passos dele. Além disso, os resultados offline podem ser confrontados com os desfechos de um teste A/B controlado em produção. Para quem desenvolve, é uma oportunidade rara de saber se dá para confiar no simulador ao escolher entre duas políticas.

Cinco níveis de verificação

A avaliação no UserArena funciona como uma escada, do mais simples ao mais difícil:

• Validade da saída. O simulador produz ações corretas, no formato permitido.
• Decisões locais. Com que precisão ele escolhe a próxima ação em um ponto específico da sessão.
• Comportamento sequencial. Se a cadeia de passos é realista ao longo de toda a sessão.
• Personalização. Se o comportamento de usuários diferentes varia como nos dados reais.
• Desfechos. Se os resultados finais coincidem com os observados em produção.

Essa divisão permite ver exatamente onde o simulador quebra. Um modelo pode passar com segurança pelos primeiros níveis e falhar na personalização ou nos desfechos. Uma única métrica agregada não mostraria isso.

OPTD: o professor dá dicas por token, o aluno anda sozinho

Para melhorar a precisão, os autores propõem o On-Policy Trajectory Distillation. O método funciona em modo on-policy: as respostas são geradas pelo próprio simulador-aluno, e o professor as avalia com uma marcação densa, no nível de token. O elemento-chave é a intenção no nível da trajetória. Ela dá ao professor o objetivo geral da sessão, de modo que as dicas em cada token permanecem coerentes com o que o usuário busca ao longo de toda a sessão.

A lógica é clara. Se o simulador for treinado apenas em trajetórias prontas, ele lida mal com os próprios erros: basta um passo na direção errada para que ele chegue a estados que nunca viu no treinamento. Treinar com as próprias execuções e com dicas densas fecha essa lacuna. E levar a intenção em conta impede que respostas localmente plausíveis se afastem do objetivo geral.

Entre os simuladores avaliados, o OPTD apresentou a melhor precisão geral dentro do protocolo do UserArena. O mais importante, porém, é outra coisa: na simulação offline, ele foi o que mais se aproximou do efeito da política registrado no teste A/B real. Essa é a métrica mais próxima da pergunta prática: "dá para substituir parte dos experimentos com pessoas reais por simulação?".

O que dá para aproveitar já

Código e dados estão publicados no repositório RecGPT-Team/UserArena, no GitHub, onde também há uma página do projeto. Equipes que constroem agentes de recomendação e de compras podem usar o conjunto como bancada para comparar políticas offline antes de rodar testes A/B caros. O protocolo de cinco níveis também vale para os simuladores próprios: ele mostra rapidamente em que etapa o simulador deixa de se parecer com usuários reais. A abordagem do OPTD é aplicável onde for preciso treinar um modelo em longas sequências de ações com uma intenção geral bem definida.

A limitação é evidente pelo próprio desenho: o benchmark foi construído com dados de um único ambiente de e-commerce. Até que ponto as conclusões se transferem para outros mercados e categorias de produtos, só verificações independentes poderão dizer. O trabalho dos autores — Jujia Zhao, Jiakai Tang, Jing Yu, Wen Chen, Jian Wu, Han Zhu, Fei Sun, Suzan Verberne e Zhaochun Ren — foi publicado no arXiv (2610.30932) e ficou em primeiro lugar na seleção diária de artigos do Hugging Face.