Instituto de Software da Academia Chinesa de Ciências e Kuaishou criam o primeiro benchmark de simulação de usuários com LLMs

O Instituto de Software da Academia Chinesa de Ciências e a Kuaishou apresentaram um benchmark que verifica se um grande modelo de linguagem consegue interpretar de forma convincente um usuário humano real. Os autores o descrevem como o primeiro da categoria: ele se baseia em dados reais e cobre a cadeia completa de comportamento, e não uma ação isolada. O trabalho foi aceito na NeurIPS 2026. O trecho disponível do material da Jiqizhixin não traz o tamanho do dataset, a lista de modelos testados nem os números finais. Por isso, esta análise aborda o que foi declarado e o que vale conferir no artigo completo.

Por que a simulação de usuários virou um gargalo

Usuários humanos são caros. Um teste A/B ao vivo em um sistema de recomendação consome tráfego e tempo, e ainda expõe uma audiência real a experimentos arriscados. Por isso, o setor tenta substituir parte das pessoas por modelos: rodar uma nova estratégia de ranqueamento em uma audiência virtual, estimar a conversão de um anúncio antes do lançamento, simular a reação da sociedade a uma mudança de produto.

Todos esses cenários dependem de uma mesma premissa: o usuário simulado se comporta de modo parecido com o real. Se não se comporta, a avaliação offline é inútil. Pior: ela induz ao erro, porque parece convincente enquanto as conclusões tiradas dela estão erradas.

Os autores do benchmark apontam a principal dificuldade. Na vida real, uma compra pode ser consequência de algo que a pessoa viu por acaso alguns dias antes. A decisão nasce de um longo histórico de contatos, e não da última tela. Um modelo que acerta bem o próximo clique não necessariamente reproduz essa lógica.

O que significa «cadeia completa»

Pelo título e pela descrição, o benchmark avalia o comportamento como uma sequência de eventos interligados em um ambiente real, e não como um conjunto de previsões isoladas. Para uma plataforma do porte da Kuaishou, em que o usuário assiste a vídeos curtos, interage com conteúdo e faz compras, essa é a formulação natural. A cadeia inclui a visualização, a reação e a decisão adiada.

A participação da Kuaishou importa por um motivo prático. Logs reais de comportamento de usuários estão nas plataformas, e os grupos acadêmicos normalmente não têm acesso a eles. A maioria dos trabalhos anteriores sobre simulação usava personas sintéticas ou pequenos datasets públicos, em que é fácil obter um resultado bonito com uma validação fraca. Um benchmark baseado em dados de uma plataforma ativa eleva a barra.

O que se sabe a partir da fonte:

• autores: Instituto de Software da Academia Chinesa de Ciências e Kuaishou;
• local de apresentação: NeurIPS 2026;
• status: declarado como o primeiro benchmark de simulação com dados reais e cadeia completa de comportamento;
• cenários: validação offline de estratégias de recomendação, previsão de conversão em publicidade, simulação social, avaliação da interação entre pessoas e sistemas;
• não revelado no trecho: volume de dados, lista de modelos, métricas e resultados finais.

Como ler esse tipo de benchmark na prática

Enquanto o artigo completo não está em mãos, há algumas perguntas que vale fazer a qualquer benchmark de simulação de usuários.

Primeira: com o que o modelo é comparado. O ponto de partida correto são baselines estatísticos simples rodando nos mesmos logs, e não uma escolha aleatória. Se eles ficarem próximos da LLM, o modelo caro não compra realismo, apenas texto bem escrito.

Segunda: em que horizonte a qualidade é medida. Adivinhar a próxima ação é muito mais fácil do que reproduzir o comportamento ao longo de dias e dezenas de eventos. Se o benchmark de fato cobre uma cadeia longa, é aí que se devem esperar as falhas mais visíveis dos modelos.

Terceira: como a diversidade é avaliada. Usuários são diferentes, e as LLMs tendem a nivelar o comportamento por um humano «típico». Uma simulação em que todos agem de forma igualmente sensata serve mal para testar recomendações.

Para as equipes que constroem sistemas de recomendação e de publicidade, a conclusão é simples. Já é possível usar usuários simulados por LLMs como filtro para descartar hipóteses claramente fracas. Apoiar-se neles ao levar algo para produção, sem confrontar com testes A/B reais, ainda é cedo. Se os dados e o protocolo forem abertos, esse benchmark pode virar uma ferramenta prática para validar simuladores próprios. Vale esperar a publicação do artigo e do repositório: é nos detalhes da coleta de dados e da escolha das métricas que ficará claro quão bem fundamentada é a alegação de pioneirismo.